FP4量子化学習を安定化するUE5M3ブロックスケーリング手法

arXiv cs.LG ・ 2026-09-02

原題: UE5M3 FP4 Block Scaling for Stable Language Model Pretraining

AI による要約

FP4量子化学習を安定化する手法として、E5M3ブロックスケールと確率的丸め込みを組み合わせた手法が提案された。Nemotron-H 8Bを1,900億トークンで事前学習し、Transformer Engineと比較して学習損失と検証損失を低減した。

この要約は当サイトの AI が生成したものです。正確な内容は元記事（arXiv cs.LG）をご確認ください。