LLM事前学習データの貢献度をタスク非依存に測定する新手法
arXiv cs.CL ・ 2026-08-13
原題: Measuring Task-Agnostic Training Data Influence Across Language Model Pretraining
AI による要約
下流タスクや特定の検証セットを選定することなく、事前学習データが最終パラメータへ与える影響度を測定する手法を提案した。勾配更新が最終パラメータとの二乗距離をどれだけ縮めたかを、再学習を行わずに中間チェックポイントから推定する。Pythiaなどの18構成に適用したところ、学習初期には文学関連データがパラメータ配置に強く寄与する時間的変化が確認された。
この要約は当サイトの AI が生成したものです。正確な内容は 元記事（arXiv cs.CL）をご確認ください。