トレンド一覧

llama.cpp、MTP無効化時でもMTPテンソルをデフォルトで読み込む仕様に

r/LocalLLaMA ・ 2026-07-29

原題: PSA: llama.cpp now loads MTP tensors by default for any draft-mtp arch, even with MTP disabled

AI による要約

llama.cppの最新ビルドにて、MTP(多トークン予測)が無効化されていてもMTPテンソルがデフォルトでメモリにロードされる仕様変更が実施されました。これにより、不要なVRAMおよびRAMの消費が発生するため、ローカルLLM運用時に注意が必要です。

この要約は当サイトの AI が生成したものです。正確な内容は 元記事(r/LocalLLaMA)をご確認ください。

開発ツール / LLM・基盤モデル