Gated DeltaNetを4bit量子化から救うMinima手法
arXiv cs.AI ・ 2026-09-03
原題: Why Gated DeltaNet Survives 4-Bit Quantization: NVFP4 W4A4 for the Recurrent Half of a Hybrid 27B LLM
AI による要約
ソフトマックスアテンションとGated DeltaNet（GDN）などの線形アテンション層を組み合わせたハイブリッド型LLMにおいて、すべての線形層にNVFP4 W4A4を適用する量子化手法「Minima」が提案された。従来の4bit量子化では16bitや8bitで保持されていたGDNブロックの崩壊・書き込み強度ゲートも含めて量子化し、BF16と同等の性能を維持しつつ、17.5 GiBという最小のサイズと14〜19%のプレフィル高速化を実現した。
この要約は当サイトの AI が生成したものです。正確な内容は 元記事（arXiv cs.AI）をご確認ください。