潜在マルチトークン予測で誘導するループ型トランスフォーマーLoopMTP

arXiv cs.CL ・ 2026-08-04

原題: LoopMTP: A looped transformer guided by latent multi-token prediction

AI による要約

パラメータ効率よく推論能力をスケーリングするループ型トランスフォーマーにおいて、中間表現の不十分な指導に対処する「LoopMTP」を提案した。ループの隠れ状態と将来のトークン表現をソフトにアライメントすることで、パラメータ数を増やさずに高度な推論と予測を実現する。

この要約は当サイトの AI が生成したものです。正確な内容は元記事（arXiv cs.CL）をご確認ください。