LLMの過信を防ぎ予測確率の不確実性を較正する二段階最適化手法

arXiv cs.LG ・ 2026-08-07

原題: Beyond Post-Hoc Temperature Scaling: Bilevel Optimization for LLM Calibration

AI による要約

アライメント後のLLMで生じる過度な確信度の上昇を抑え、確率予測の精度を較正する二段階最適化手法が提案された。訓練中に予測分布のエントロピーを最大化する目的関数を導入し、領域をまたぐタスクにおいても従来の温度スケーリング法より優れたキャリブレーション性能を効率的に実現する。

この要約は当サイトの AI が生成したものです。正確な内容は元記事（arXiv cs.LG）をご確認ください。