トレンド一覧

スペクトル幾何学と曲率を統合した最適化手法GO-MUON

arXiv cs.AI ・ 2026-08-10

原題: Second-Order Muon Done Right: A Principled Marriage of Spectral Geometry and Curvature

AI による要約

最適化手法Muonを改良し、データ依存の幾何構造を効率的に再利用するアルゴリズムGO-MUONが提案された。重み付きスペクトルオラクルを厳密に解きつつ、幾何更新を遅延させることで計算コストと精度のトレードオフを調整できる。

この要約は当サイトの AI が生成したものです。正確な内容は 元記事（arXiv cs.AI）をご確認ください。

研究・論文

この話題のこれまで

スペクトルノルムに基づく行列摂動をMuonと組み合わせた手法で汎化性能が向上し、次いでMuonのアップデートを1ビット圧縮するSignMuonの限界が分析された。その後、Muonに軽量な対角事前条件付けを加えたMALTが提案され、曲率異方性に対する感度を低減した。続いて、Muonを用いたTransformerでグロッキング後に汎化性能が崩壊する現象が解明された。今回、Muonを改良したGO-MUONが提案され、データ依存の幾何構造を効率的に再利用する手法により、計算コストと精度のトレードオフを調整できるようになった。

  1. スペクトルノルムに基づく最適化手法とMuonの頑健性向上 2026-07-28 ・ arXiv cs.LG
  2. Muonのアップデートを1ビットに圧縮する手法SignMuonの限界 2026-07-31 ・ arXiv cs.LG
  3. 軽量な対角事前条件付けを用いたMuon最適化手法MALT 2026-08-05 ・ arXiv cs.LG
  4. Muon最適化を用いるTransformerのグロッキング後性能崩壊の解明 2026-08-07 ・ arXiv cs.AI

当サイトが集めた記事から、同じ話題のものを古い順に並べています。

この話題に関わるコラム