軽量な対角事前条件付けを用いたMuon最適化手法MALT

arXiv cs.LG ・ 2026-08-05

原題: MALT: Lightweight Curvature-Aware Muon via Diagonal Preconditioning

AI による要約

大規模言語モデルの事前学習においてアダム等の代替として注目されるMuonに、損失地形の曲率を考慮する対角事前条件付けを導入した手法。Muonの勾配異方性に対する感度を軽減し、計算コストを抑えながら効率的な最適化を実現する。

この要約は当サイトの AI が生成したものです。正確な内容は元記事（arXiv cs.LG）をご確認ください。