RAGのKVキャッシュ量子化が忠実性を損なうリスクを検証

arXiv cs.CL ・ 2026-08-31

原題: Faithfulness Is Not Free: Auditing Offline KV-Cache Quantization in Retrieval-Augmented Generation

AI による要約

検索拡張生成（RAG）システムで事前に計算・保存されたキー・バリュー（KV）キャッシュの量子化が忠実性に与える影響を検証した。Qwen2.5-7B-Instructを用いた実験で、INT8量子化は忠実性をほぼ損なわないが、INT4では正解率が低下するだけでなく、正解回答のうち90%以上で忠実性が低下することが判明した。

この要約は当サイトの AI が生成したものです。正確な内容は 元記事（arXiv cs.CL）をご確認ください。