DiT学習を加速・安定化させる分割モメンタム直交化法CMuon

arXiv cs.AI ・ 2026-08-03

原題: CMuon: Accelerating and Stabilizing Diffusion Transformer Training via Chunked Momentum Orthogonalization

AI による要約

Diffusion Transformer（DiT）の学習を高速かつ安定化させるため、結合された重みを分割して直交化するオプティマイザ戦略「CMuon」を開発した。従来のMuonオプティマイザで発生していた収束遅延を解消し、画像生成モデルの訓練計算コストを削減する。

この要約は当サイトの AI が生成したものです。正確な内容は元記事（arXiv cs.AI）をご確認ください。