長文文脈でのモデル学習が内部知識保持を損なうパラドックス

arXiv cs.AI ・ 2026-08-12

原題: Information Abundance Paradox: Long-Context Training Undermines Parametric Knowledge

AI による要約

大規模言語モデルの事前学習において、長いコンテキストを与えすぎるとパラメータへの知識暗記意欲が低下する「情報豊穣パラドックス」が検証された。長文文脈での事前学習は、言語モデル評価やクローズドブック問題などで中間的な最適値を超えると性能が連続的に低下することが判明した。

この要約は当サイトの AI が生成したものです。正確な内容は元記事（arXiv cs.AI）をご確認ください。