CROP: 反実仮想を活用してオンポリシー蒸留のタスク適合度を最適化
arXiv cs.CL ・ 2026-08-13
原題: CROP: Task Relevance via Counterfactuals for Selective On-Policy Distillation
AI による要約
オンポリシー蒸留において各トークンへの監督価値を適切に割り振るため、反実仮想的な感度マージンを用いたフレームワークCROPを提案した。プロンプトの言い換えを活用してタスク関連度を数値化し、不確実性だけでなく入力意味論に即した選択的監督を行う。これにより生徒モデルに対する重要トークンへの指導効率を高めることができる。
この要約は当サイトの AI が生成したものです。正確な内容は 元記事（arXiv cs.CL）をご確認ください。