ミューオンとマンバ: スペクトル最適化による状態空間モデルの分析
arXiv cs.LG ・ 2026-08-04
原題: Muon Meets Mamba: Spectral Optimization for State Space Models
AI による要約
ミューオンは最近の最適化手法であり、ニュートン・シュルツ反復を用いて重み行列の更新を直交化する。ミューオンとAdamWをマンバ・2 130Mで比較した結果、ミューオンの利点は局所的であることがわかった。ミューオンは出力投影のみでAdamWを上回るが、入力投影または両方で上回るわけではない。ミューオンの利点はトークン効率の向上に主にあり、2つのコーパスと2つのトークン予算で持続する。また、トレーニングが最適なポイントを超えて続行しても効果が維持される。
この要約は当サイトの AI が生成したものです。正確な内容は 元記事（arXiv cs.LG）をご確認ください。