マルチヘッド自己注意はパラメータ同定機構であることを証明

arXiv stat.ML ・ 2026-09-01

原題: Multi-Head Self Attention is a Parameter Identification Mechanism

AI による要約

マルチヘッド自己注意がパラメータ同定機構であることを数学的に証明した。未同定パラメータの割合はヘッド数に反比例し、モデルの同定性が向上する。RoPEやGQAなどの改良手法も同様の観点から解釈できることを示す。

この要約は当サイトの AI が生成したものです。正確な内容は元記事（arXiv stat.ML）をご確認ください。