Huawei、vLLM向けKVキャッシュ量子化バックエンド「KVarN」を発表
KVarN: Native vLLM KV-cache quantization back end by Huawei
Huaweiは、大規模言語モデル(LLM)のKVキャッシュ容量を3~5倍に増やし、スループットを最大約1.3倍向上させる「KVarN」を発表しました。KVarNは、vLLMと互換性があり、モデルの変更やキャリブレーションなしで導入できるプラグアンドプレイのKVキャッシュ量子化バックエンドです。FP16と同等の精度を維持しつつ、長文コンテキストの処理能力と同時リクエスト数を向上させます。Qwen3-32Bモデルでは、FP16と同等の精度とスループットを維持しながら、KVキャッシュ容量を約4倍に増加させました。KVarNは、KVキャッシュの「Cache」「Rotated Cache」「Normalized Cache」「Quantized Cache」の4段階を経て量子化を行います。この技術は、arXivで公開された論文「KVarN: Variance-Normalized KV-Cache Quantization Mitigates Error Accumulation in Reasoning Tasks」に基づいています。
- HuaweiがLLM向けKVキャッシュ量子化バックエンド「KVarN」を発表
- KVarNの論文がarXivで公開
HuaweiがLLM推論効率を大幅に高めるKVキャッシュ量子化技術を発表した点は注目に値する。特にvLLMと互換性があり、モデル変更やキャリブレーション不要で導入可能な「プラグアンドプレイ」方式であるため、既存の推論インフラに容易に組み込める実用性の高さが投資判断上のポイント。KVキャッシュ容量を3〜5倍に増やしつつスループット向上も実現しており、長文コンテキスト処理や同時リクエスト数が重要なLLMサービスの運用コスト削減に直結する可能性がある。HuaweiのAI/半導体エコシステム全体の競争力強化にも寄与する技術であり、推論最適化領域の市場価値を高める動きとして注視すべき。