LLMベースの信頼性評価の落とし穴
arXiv cs.CL ・ 2026-08-05
原題: Evaluation Pitfalls and Sparsity Limitations in LLM-based Confidence Estimates for Classification
AI による要約
LLMの信頼性評価で一般的な verbalization 手法が極めて疎な出力しか生成しない問題を指摘した。Qwen3-32B は SST-2 でわずか 8 種類の信頼度値しか出力せず、そのうち半数以上が 95% だった。評価手法の違いがランキングに大きく影響するため、AUARC 評価時の補間法を標準化する必要性を提言した。
この要約は当サイトの AI が生成したものです。正確な内容は 元記事（arXiv cs.CL）をご確認ください。