単層アテンションの計算限界とヘッド複雑度の階層構造を解明
arXiv cs.LG ・ 2026-09-03
原題: The Head Complexity of Boolean Functions in Single-Layer Attention
AI による要約
1層のアテンション機構が計算可能な論理関数を測る指標「ヘッド複雑度」においてk個のヘッドはkビットパリティを計算可能だが(k+1)ビットは計算できない厳密な階層性が証明された。この限界は埋め込み次元や数値精度を無制限にしても成立し、マルチホップインダクションヘッド課題の下界導出にも適用される。証明はソフトマックスの分母を払った決定多項式における交互和の相殺構造に基づいている。
この要約は当サイトの AI が生成したものです。正確な内容は 元記事（arXiv cs.LG）をご確認ください。