注意機構の学習ダイナミクスを高次元で解析する新手法

arXiv stat.ML ・ 2026-09-03

原題: High-Dimensional Learning Dynamics of Attention-Indexed Models

AI による要約

注意機構の学習過程を高次元極限で解析し、損失地形が有限のトレース順序パラメータで特徴づけられることを示した。オンラインSGDの挙動との違いも明らかにし、注意機構のパラメータ化が暗黙のバイアスとして機能する可能性を指摘する。

この要約は当サイトの AI が生成したものです。正確な内容は元記事（arXiv stat.ML）をご確認ください。