DeepSeek-v4-Flash-Miniを2bit量子化で軽量実行する検証

r/LocalLLaMA ・ 2026-08-04

原題: DeepSeek-v4-Flash-Mini 54GB GGUF running at ~20.5 t/s

AI による要約

DeepSeek-V4-Flashモデルに対して積極的な量子化手法を適用し、軽量なミニ版GGUFとして動作させた実験の記録です。極端な2bit量子化によりVRAM使用量を大幅に削減しつつ推論を維持しています。

この要約は当サイトの AI が生成したものです。正確な内容は元記事（r/LocalLLaMA）をご確認ください。