事前学習でLLMの知識獲得を促す補助的言い換え表現の効果を解明
arXiv cs.AI ・ 2026-09-03
原題: Knowledge Acquisition During Pre-training? Large Language Models Learn Better With Auxiliary Views
AI による要約
LLMの事前学習において同一文書の単純反復よりも知識の再定式化である補助的表現へトークンを割り振る方が事実想起の学習効率を高めると判明した。この補助的表現の効果は生成に用いた教師モデルの性能に依存せず機能することが実験で示されている。さらに文脈的・基礎的知識の形態や層ごとの圧縮傾向といったメカニズムも特定された。
この要約は当サイトの AI が生成したものです。正確な内容は 元記事（arXiv cs.AI）をご確認ください。