LLMの非埋め込み幾何学に現れるベイジアン事前分布の方向性解析
arXiv stat.ML ・ 2026-09-02
原題: The Geometry of Ignorance: LLMs Know When to Temper Bayesian Priors
AI による要約
言語モデルが確信度の低い際に出力する訓練コーパスのユニグラム分布が、非埋め込み行列内の単一の方向（無知の方向）に符号化されており、モデルが不確実な際に立ち戻るベイジアン事前分布として機能することを解明した。Llama、Qwen、Gemma、Pythiaを含む4つのモデルファミリーでこの構造を確認し、文脈が豊富になるにつれて事前分布のロード係数が低下することを実証した。
この要約は当サイトの AI が生成したものです。正確な内容は 元記事（arXiv stat.ML）をご確認ください。