DeepSeek-V4-FlashモデルをRTX 3090とDDR5で高速動作させる方法

r/LocalLLaMA ・ 2026-08-01

原題: DeepSeek-V4-Flash-0731 UD-IQ3_S 12.5 tok/s on RTX 3090 +128GB DDR5

AI による要約

有志がllama.cppをカスタマイズし、DeepSeek-V4-Flash-0731モデルをRTX 3090とメインメモリを活用して毎秒12.5トークンで動作させる設定を共有した。MoEエキスパートをCPUメモリへ退避させることでVRAM容量制限を克服する技術として注目されている。

この要約は当サイトの AI が生成したものです。正確な内容は元記事（r/LocalLLaMA）をご確認ください。