Soft Latent Thinking：LLMの推論を連続空間で実行する手法
arXiv cs.CL ・ 2026-08-31
原題: A Model with No Head and Many Thoughts
AI による要約
LLMは語彙ヘッドを介した離散トークン生成で推論するが、計算コストが高い。本研究は、Soft Latent Thinking手法で語彙ヘッドを軽量プロジェクターに置き換え、連続空間で推論を実行する。DeepSeek-Qwen-1.5BとLLaMA-3.2-3Bで検証し、全k値でpass@kを向上させた。
この要約は当サイトの AI が生成したものです。正確な内容は 元記事（arXiv cs.CL）をご確認ください。