大バッチ学習におけるモメンタムの効果

arXiv cs.LG ・ 2026-09-02

原題: Momentum in large-batch training: Polyak enlarges the critical batch size, Nesterov improves data efficiency

AI による要約

大バッチ学習におけるモメンタムの効果を理論的に解析した。Polyakモメンタムは安定学習可能なバッチサイズを拡大し、Nesterovモメンタムはデータ効率を向上させることを示した。学習率とモメンタム因子の関係を明示的に定式化し、3つの学習フェーズを示した。

この要約は当サイトの AI が生成したものです。正確な内容は元記事（arXiv cs.LG）をご確認ください。