Adamなどの最適化手法が低ランク解の挙動に与える影響の数学的解明

arXiv cs.LG ・ 2026-08-05

原題: The Loss Does Not See the Basis, but Adam Does

AI による要約

勾配降下法が低ランク解に暗黙的なバイアスを持つ一方で、Adamなどの座標ごとの最適化手法が異なる挙動を示す理由を数学的に解明した研究。最適化アルゴリズムのゲージ同変性が、低ランク回復などの特性に与える影響を理論的に整理した。

この要約は当サイトの AI が生成したものです。正確な内容は元記事（arXiv cs.LG）をご確認ください。