Transformer注意機構のスケールされた冪等性：O-V幾何と共有値代数

arXiv cs.LG ・ 2026-09-01

原題: Scaled Idempotence in Transformer Attention: Paired OV Geometry and Shared-Value Algebras

AI による要約

Transformerの注意機構にスケールされた冪等性という代数的規則性を発見した。6つの事前学習済みモデル（2.8B～235Bパラメータ）で、3.98～8.00%のヘッドが冪等性を示す。O-V幾何と共有値代数の関係を解明し、注意機構の構造的理解を深めた。

この要約は当サイトの AI が生成したものです。正確な内容は元記事（arXiv cs.LG）をご確認ください。