KVキャッシュの挙動とプレフィックス精度制御がデコード結果に与える影響

arXiv cs.CL ・ 2026-07-30

原題: Stage-Replay Divergence Follows the KV Cache: Fixed-Prefix Precision Controls and Bidirectional Cache Transplantation

AI による要約

推論ステージにおける中間トークンプレフィックスの再構築とKVキャッシュの挙動を検証した。BF16とFP32の精度制御の違いがデコード結果に与える影響を明らかにし、正確なキャッシュ管理手法を示した。

この要約は当サイトの AI が生成したものです。正確な内容は元記事（arXiv cs.CL）をご確認ください。