超小型トランスフォーマーで完全な長さ汎化を達成

arXiv cs.LG ・ 2026-08-31

原題: Universal Transformers for Circuit Computations: Perfect Length Generalization in Tiny Transformers

AI による要約

わずか280個のパラメータで動作する超小型トランスフォーマーが、任意の深さや長さの論理回路計算を完全に汎化できることを証明した。入力を完全に括弧付けされた式とみなし、回路モデルをトランスフォーマーに埋め込む手法で、1回の順伝播で深さ1の回路削減を実現する。

この要約は当サイトの AI が生成したものです。正確な内容は元記事（arXiv cs.LG）をご確認ください。