Softmax層を効率的に低ビット化する量子化手法「SoftWater」

arXiv cs.LG ・ 2026-08-12

原題: SoftWater: Class-Aware Rate Allocation for Softmax Quantization

AI による要約

小規模LLMのパラメータの15〜30%を占めるSoftmax出力層の量子化手法として「SoftWater」が提案された。出力分布のKLダイバージェンスと曲率に基づくレート歪み問題として定式化し、頻出かつ低分散なクラスに細かいグリッドを割り当てることで効率的な低ビット化を実現する。

この要約は当サイトの AI が生成したものです。正確な内容は元記事（arXiv cs.LG）をご確認ください。