言語モデルにおける2ステップの複合推論失敗メカニズムの解明

arXiv cs.CL ・ 2026-08-07

原題: Why Knowing Both Hops Is Not Enough: Understanding Two-Hop Generalization in Language Models

AI による要約

言語モデルが単一の知識を保持しながらも2段階の推論で失敗する現象について、トランスフォーマー内部の機構解析が行われた。2番目のステップが訓練分布に従う場合は共通のエンティティ表現が形成され成功するが、分布外になると内部表現の不一致で失敗することが確かめられた。

この要約は当サイトの AI が生成したものです。正確な内容は元記事（arXiv cs.CL）をご確認ください。