Muon最適化を用いるTransformerのグロッキング後性能崩壊の解明

arXiv cs.AI ・ 2026-08-07

原題: Post-Grokking Collapse at the Representation-Readout Interface in Muon-Trained Transformers

AI による要約

最適化手法Muonを用いて学習させたTransformerモデルが、グロッキング達成後に汎化性能を失う現象とそのメカニズムが解明された。この崩壊は表現層と読み出し層のインターフェースで発生しており、埋め込み層や読み出し層のパラメータを凍結することで防止できると示された。

この要約は当サイトの AI が生成したものです。正確な内容は元記事（arXiv cs.AI）をご確認ください。