ニューラル二次形式：突然の学習とスケーリング法則のための統一的な最小モデル
arXiv cs.LG ・ 2026-08-13
原題: Neural Quadratic Forms: A Unified Minimal Model for Sudden Learning and Scaling Laws
AI による要約
ニューラルネットワークは、勾配降下法で滑らかなコスト関数を最適化する際に、突然の学習を示すことがある。同時に、訓練損失は滑らかなパワーローに従う。さまざまなアーキテクチャで同様の挙動が観察されるが、その根本的な要因は不明であった。研究者は、対称性を利用して、ネットワークの近似的な形を導出し、突然の学習のメカニズムを説明した。
この要約は当サイトの AI が生成したものです。正確な内容は 元記事（arXiv cs.LG）をご確認ください。