Chain-of-Thought蒸留にMI-Distillationで最適データ選択

arXiv cs.AI ・ 2026-08-30

原題: MI-Distillation: Selecting from Model-Interpolated Instruct-Reasoning Data Spectrum for Chain-of-Thought Distillation

AI による要約

Chain-of-Thought（CoT）蒸留の効果を向上させるMI-Distillationを提案する。Long CoTとShort CoTの勾配特性を分析し、モデル補間された指示データスペクトルから最適なデータを選択。学生モデルの容量に応じてCoT長を調整し、蒸留効率を高める。

この要約は当サイトの AI が生成したものです。正確な内容は元記事（arXiv cs.AI）をご確認ください。