SFT蒸留における潜在的特性ドリフトのメカニズムと制御手法を提案

arXiv cs.LG ・ 2026-09-01

原題: Subliminal Learning as Trait-Direction Drift: A Mechanism and Targeted Control under SFT Distillation

AI による要約

モデル蒸留時に発生する潜在的特性ドリフトのメカニズムを「特性方向ドリフト」として提案した。バイアスのある教師モデルが生成するデータが、学生モデルに意図しない特性を引き継がせる現象を解明し、probe-space corridor正則化による防御手法を実証した。

この要約は当サイトの AI が生成したものです。正確な内容は元記事（arXiv cs.LG）をご確認ください。