潜在マルチトークン予測で誘導するループ型トランスフォーマーLoopMTP

arXiv cs.CL ・ 2026-08-04

原題: LoopMTP: A looped transformer guided by latent multi-token prediction

AI による要約

ループ型トランスフォーマーに潜在マルチトークン予測を導入したLoopMTPが提案された。ループごとに将来のトークンを予測し、隠れ状態を前方の埋め込みと整合させることで、計算効率を維持しつつ推論能力を向上させた。

この要約は当サイトの AI が生成したものです。正確な内容は元記事（arXiv cs.CL）をご確認ください。