Muonのアップデートを1ビットに圧縮する手法SignMuonの限界

arXiv cs.LG ・ 2026-07-31

原題: Sign compression for Muon: SignMuon, MuonSign, and the Limits of Error Feedback

AI による要約

行列対応型オプティマイザであるMuonのアップデートを1パラメータあたり1ビットに圧縮する「SignMuon」が分析された。極端な低通信予算での動作が可能になる一方、符号化の順序やエラーフィードバックが機能しない条件とその限界が明らかにされた。

この要約は当サイトの AI が生成したものです。正確な内容は元記事（arXiv cs.LG）をご確認ください。