オンポリシー蒸留の課題を解決するトークン単位の手法「TIDE」の提案
arXiv cs.AI ・ 2026-08-10
原題: Mismatch Matters: On-Policy Distillation Beyond Token Agreement
AI による要約
大規模言語モデルのオンポリシー蒸留において、生徒モデルがループ構造に頼り見せかけのトークン一致を達成する問題が指摘された。研究チームは過剰生成トークンと不足トークンの2種類のミスマッチ原因を分析し、解消に向けた手法「TIDE」を開発した。これにより教師モデルの推論パターンの効率的な転移と学習の安定化を実現する。
この要約は当サイトの AI が生成したものです。正確な内容は 元記事（arXiv cs.AI）をご確認ください。