中間学習時の知識蒸留が事実想起より推論を優先する理由

arXiv cs.CL ・ 2026-09-01

原題: Knowledge Distillation During Mid-Training Favors Reasoning over Factual Recall

AI による要約

知識蒸留の効果が学習ステージで変化することを発見した。前学習時は事実想起と推論の両方を改善するが、中間学習時は事実想起が遅れる一方で推論は向上し続ける。これは教師モデルの信頼度の非対称性と学生の知識状態の変化に起因する。

この要約は当サイトの AI が生成したものです。正確な内容は元記事（arXiv cs.CL）をご確認ください。