Gemma 4の選択的量子化とDeepSeek値上げが迫る推論資源の再配分

テンソル単位のビット再配分による推論圧縮

一律ビット幅によるモデル量子化は非効率であり、層ごとの感度に応じたビット再配分が実用精度を決定づける。

Google は Gemma 4 12B の量子化モデルにテンソル単位のビット再配分を導入した。層ごとの感度に応じてビット幅を最適化する手法で、Q3 量子化のままモデルサイズをわずかに拡張するだけで推論精度を引き上げた。この手法は、これまで一律に決められていたビット幅の非効率性を解消するものだ。

- テンソル単位のビット配分で、層の感度に応じて 4 ビットから 3 ビットへの移行を最適化する - Gemma 4 12B の Q3 量子化モデルで、モデルサイズを 0.119% 増に抑えながらベンチマークスコアが 45.974 から 49.905 へと 8.55% 向上 - ベンチマークスコアの向上は、テンソルごとに再配分したビット幅が層の重要度に合致したため - ポストトレーニング量子化（PTQ）では再トレーニング不要だが、一律ビット幅では精度劣化を招くリスクが残る - 自然言語からシェルコマンドを生成する 1.5B モデルでは、Q4 量子化で 941MB まで縮小され CPU 上で 0.59 秒の推論を実現

作る側は、テンソル単位のビット再配分を導入する際、層の感度を事前に測定するプロファイル工程を組み込む必要がある。この工程がなければ、ビット再配分の効果が得られず、精度向上は見込めない。

この見方が成り立たない条件 この見方が成り立たない条件は、テンソル単位のビット再配分を導入しても層の感度に応じた効果が得られない場合だ。具体的には、事前に行うプロファイル工程で感度が正しく測定できなかったり、ビット再配分の最適化が失敗したりすると、精度向上は見込めない。

鍵はどこにあるか

• 作る側: テンソル単位のビット再配分を導入する際、層の感度を事前に測定するプロファイル工程を組み込む

トークン予算変動による推論ベンチマークの逆転

固定トークン長で測定された静的ベンチマークは、可変推論環境における実モデル性能を正しく評価できない。

Google DeepMind と Stanford HAI は、LLM の推論ベンチマークで生成トークン数を 64〜4,096 に可変させた検証を実施した。固定長 2,048 トークン前後で測定される従来の静的ベンチマークとは異なり、予算に応じてモデル間の性能順位が逆転する現象が確認された。さらに予算を増やすと、3〜19%のタスクで精度が低下する非単調な挙動が観測された。この結果は、可変推論環境における実モデルの振る舞いを静的ベンチマークが捉えきれていないことを示す。

- 固定長 2,048 トークンの静的ベンチマークで上位だったモデルが、64 トークンでは下位に転落 - 4,096 トークンに増やすと 3%のタスクで精度が低下し、19%のタスクで逆転が発生 - 非単調な精度低下は、予算増加に伴い生成方針が安定しないモデルに顕著に表れる - 評価指標としての MCQ スコアは、選択肢の順序依存性を排除できていない - ラベルなし戦略による精度向上は一貫せず、ボトルネックは選択肢除去にあると判明

固定トークン長のベンチマークは、可変推論環境におけるモデルの実力を過大評価または過小評価する。そのため、実運用では生成トークン数に応じた動的な評価指標が必要となる。特に、予算を増やしても精度が低下する非単調な挙動が観測されるモデルは、実用に向けた再検討が求められる。

- 固定長ベンチマークのスコアが高いモデルでも、実運用の可変環境では性能が保証されない - 予算増加時に精度が低下するモデルは、生成方針の不安定性を示唆する - 評価指標は、選択肢の順序依存性を排除した形で再設計すべきである

この見方が成り立たない条件 可変推論環境において、生成トークン数に対する非単調な精度低下が観測されなかった場合、この節の主張は成立しない。

鍵はどこにあるか

• ベンチマーク設計者: 生成トークン数を可変にした新たな評価指標を導入し、固定長ベンチマークとの相関を再検証する
• モデル開発者: 予算増加時に精度が低下する非単調な挙動を防ぐため、生成方針の安定化手法を実装する

エージェント常時稼働によるCPU偏重とAPI動的課金

自律エージェントの普及はクラウドAPIの従量課金を経済的に破綻させ、オンプレミスのCPU等倍構成への回帰を強制する。

DeepSeekは最新モデルV4のAPIにおいて、従来の課金単価を1.8倍に引き上げ、ピークタイムには最大2.5倍の動的料金を適用する仕組みを導入した。同時に、エージェント型AIの普及で1台のサーバーが処理するリクエスト数は、人間の15倍以上に達すると予測され、CPU負荷がGPU処理を上回る1:1構成が標準化するとの見通しが示された。

DeepSeek V4のAPIは、低価格路線を転換し、月間50万ドル以上のコストが見込まれる大規模利用者向けに、ピークタイムの料金を最大2.5倍に設定する。 - 従来のCPU:GPU比率1:4のサーバーで、エージェントが自律処理するリクエストは1時間あたり平均15,000件に達し、CPU負荷がGPUを上回る - MicrosoftのCobalt 200 CPUは、エージェント特化処理でレイテンシを33%改善する一方で、GPUとの並列稼働が前提となる - 記憶と人格を分離するフレームワーク「nenrin」は、48日間で15体のエージェントが蓄積した記憶データを活用し、タスクの自律実行を支える - 4事業を48日間にわたり運用した実績では、エージェントごとのリクエスト処理数は平均で1日あたり2,800件に上った - DeepSeek V4の動的料金制は、ピークタイムの1時間あたりの課金が最大1,200ドルに達する可能性がある

自律エージェントが常時稼働する環境では、APIの従量課金が経済的に成立しなくなり、オンプレミスのCPU等倍構成への回帰が現実的な選択肢となる。

この見方が成り立たない条件 APIの動的課金が経済的に破綻するのは、エージェントの常時稼働に加えて、ピークタイムの課金が1時間あたり1,200ドルを超える場合に限られる。あるいは、CPU負荷がGPUを上回る1:1構成でも、リクエスト処理数が1時間あたり15,000件に満たない場合。

鍵はどこにあるか

• 使う側: APIの従量課金を回避するため、オンプレミスのCPU等倍構成を検討し、リクエスト処理数が15,000件/時間を超える場合は、GPUとの並列稼働を前提としたハイブリッド構成に切り替える

むすび

テンソル単位のビット再配分は層ごとの感度に合わせた量子化により、一律ビット幅の非効率性を解消しつつ精度を向上させる技術として注目を集めている。しかしその効果は、層の感度を正確にプロファイリングできるかどうかに依存し、工程の導入が前提条件となる。一方で、推論ベンチマークの固定トークン長という前提自体が、可変推論環境における実モデルの性能を正しく反映していないことが明らかになりつつある。生成トークン数の変動がモデル間の性能順位を逆転させ、さらには予算増加時に精度が低下する非単調な挙動を示すケースも観測されている。この矛盾は、静的ベンチマークが実運用の複雑性を捉えきれていないことを示唆する。さらに、自律エージェントの普及が進む中で、APIの従量課金モデルは経済的に破綻しつつあり、オンプレミスのCPU等倍構成への回帰が現実的な選択肢として浮上している。これらの動向は、量子化技術、ベンチマーク手法、課金モデルのいずれにおいても、従来の一律的なアプローチが通用しなくなっていることを示している。

自律エージェントの常時稼働が普及した場合、APIの従量課金モデルは経済的に成り立たなくなるのか？

この問いの答えで何が変わるか 成り立たない場合はオンプレミスのCPU等倍構成が主流となり、成り立つ場合はクラウドAPIの再設計が進む。どちらの選択が優勢になるかによって、AIサービスの提供形態とユーザーのコスト構造が大きく変わる。