ミューオンとマンバ: スペクトル最適化による状態空間モデルの分析

arXiv cs.LG ・ 2026-08-04

原題: Muon Meets Mamba: Spectral Optimization for State Space Models

AI による要約

ミューオン最適化器が状態空間モデル「Mamba-2 130M」で特定の層に効果を発揮することを確認した。出力射影層のみにミューオンを適用した場合に、入力射影層や両方に適用するよりも高い効率を示した。

この要約は当サイトの AI が生成したものです。正確な内容は元記事（arXiv cs.LG）をご確認ください。