Transformerの長さ汎化を特徴づける代数分解理論
arXiv cs.AI ・ 2026-08-13
原題: Algebraic Decomposition Theory for Transformer Length Generalization
AI による要約
Transformerが学習時より長い系列に汎化できる正規言語のクラスを完全に特徴づける代数分解理論が提案された。統語モノイドのサイズに対して多項式時間で動作する判定アルゴリズムを提供し、C-RASP形式化における正規言語の有効な特徴づけを実現している。これにより、どのようなタスクが長さ汎化を許容するかを厳密に特定できる。
この要約は当サイトの AI が生成したものです。正確な内容は 元記事（arXiv cs.AI）をご確認ください。