ハイブリッド線形注意型LLMにおける大規模アクティベーションの発生構造を解明

arXiv cs.CL ・ 2026-08-12

原題: Massive Activations in Hybrid Linear Attention Large Language Models: Pre-Attention Spikes and Inter-Spike Plateaus

AI による要約

アテンションと線形注意を組み合わせたハイブリッドLLMにおける「大規模アクティベーション（MA）」の形態学的特性が解明された。完全アテンション層の直前でスパイクが生じる現象などが特定され、1.2Bから397Bパラメータ規模の多様なモデルで同様の構造が再現されることが確認された。

この要約は当サイトの AI が生成したものです。正確な内容は元記事（arXiv cs.CL）をご確認ください。