大規模言語モデルの不確実性信号としての注意経路の脆弱性
arXiv cs.CL ・ 2026-08-11
原題: Attention-Path Fragility as an Uncertainty Signal in Large Language Models
AI による要約
研究者は、大規模言語モデルの不確実性信号として、注意経路の脆弱性を提案した。ASMIと呼ばれる手法は、注意ヘッドをマスクし、サブネットワーク間の相互情報量を測定することで、モデルの不確実性を推定する。実験結果によると、ASMIは出力信頼度とエントロピーに加えて、予測誤差を予測する追加情報を提供することが示された。
この要約は当サイトの AI が生成したものです。正確な内容は 元記事（arXiv cs.CL）をご確認ください。