ローカル分散最適性が十分でない場合：動的4ビット量子化のためのRoPE整列Q/K回転

arXiv cs.LG ・ 2026-08-13

原題: When Local Variance Optimality Is Not Enough: RoPE-Aligned Q/K Rotations for Dynamic 4-Bit Quantisation

AI による要約

RoPEは各ヘッドを2次元周波数ペアに分割するが、ヘッド全体に直交変換を適用するよりも、RoPEと整列する変換を使用することで精度が向上するかどうかを調べた。結果は、ヘッド共有のペアごとの構成では精度の向上は見られなかった。

この要約は当サイトの AI が生成したものです。正確な内容は元記事（arXiv cs.LG）をご確認ください。