凍結LLMの幾何制約解決能力を隠れ状態から分析
arXiv cs.AI ・ 2026-08-18
原題: Encoded but Not Actionable: Auditing the Decode-Generate-Steer Gap in Frozen LLMs for Geometric Constraints
AI による要約
凍結LLMが幾何制約をどのように符号化し、行動に反映させるかを隠れ状態の解析で明らかにした。6つのデコーダー型LLMを対象に、局所的な関係性とスケッチレベルの制約状態を切り分け、事前学習が局所関係の線形デコード性能を大幅に向上させる一方で、スケッチレベルの自由度状態はランダム初期化でも高いデコード性能を示すことを示した。
この要約は当サイトの AI が生成したものです。正確な内容は 元記事（arXiv cs.AI）をご確認ください。