When Attention Goes Blind: ALiBi位置エンコーディングの数値的失敗

arXiv cs.CL ・ 2026-08-04

原題: When Attention Goes Blind: Numerical Failure in ALiBi Positional Encodings

AI による要約

ALiBi位置エンコーディングの数値的な失敗モードが見つかり、浮動小数点精度のアンダーフローで注意力がゼロ化し、一部のヘッドが機能しなくなる問題が明らかになった。148Mパラメータのモデルで実験し、トークン検索能力が低下する一方で、標準ベンチマークへの影響は小さいことが分かった。

この要約は当サイトの AI が生成したものです。正確な内容は元記事（arXiv cs.CL）をご確認ください。