LMヘッドは有害な勾配ボトルネックか？因果テストで検証

arXiv cs.CL ・ 2026-08-17

原題: Does the LM Head Create a Harmful Gradient Bottleneck? A Causal Test

AI による要約

LMヘッドが Transformer に送る勾配のランクを低下させると、検証損失が増加することを実験で確認。前方向のみの介入では損失増加が小さい一方、前方向の因子分解ヘッドでは損失が大幅に悪化。LMヘッドの幾何学的制約が最適化に与える影響を分析。

この要約は当サイトの AI が生成したものです。正確な内容は元記事（arXiv cs.CL）をご確認ください。