DeepSeek-v4.1 Flash: KVキャッシュ圧縮の限界を押し広げる
DeepSeek-v4.1 Flash: Pushing the Limits of KV Cache Compression
DeepSeek-v4.1 Flashは、KVキャッシュ圧縮を極限まで追求したモデルである。長大なコンテキスト処理やツール呼び出しによる計算負荷増大に対応するため、KVキャッシュのストレージ圧迫と計算効率の向上が課題となっていた。本モデルでは、YOCOに着想を得て、Prefill計算の最適化(40層中20層のみ使用)とKVキャッシュ圧縮を実装した。KVキャッシュ圧縮は、ヘッド数圧縮、ブロックベース圧縮、クロスレイヤー圧縮、数値精度最適化(FP4 KVCache採用)など多角的に行われ、モデル品質を維持しつつKVキャッシュを4倍に圧縮した。モデルアーキテクチャはCausal Encoder-Decoder(CED)を採用し、Prefill段階で8B、Decoding段階で16Bのパラメータをアクティブ化する。パラメータ数は552Bで、マルチモーダル入力に対応し、最大100万トークンのコンテキストをサポートする。特に、KVキャッシュのストレージとランタイムメモリ使用量はDeepSeek-V4-Flashと比較して大幅に削減されている。
- DeepSeek-v4.1 FlashはKVキャッシュ圧縮を追求したモデルで、モデル品質を維持しながらKVキャッシュを4倍に圧縮した
- YOCOに着想を得てPrefill計算を最適化し、40層中20層のみを使用、さらにFP4 KVCache採用など多角的な圧縮を実装した
- Causal Encoder-Decoder(CED)を採用し、Prefill段階で8B、Decoding段階で16Bのパラメータをアクティブ化、総パラメータ数は552B
- マルチモーダル入力と最大100万トークンのコンテキストをサポートし、KVキャッシュのストレージとランタイムメモリ使用量をDeepSeek-V4-Flash比で大幅に削減した
KVキャッシュを4倍圧縮しつつ552B・最大100万トークン対応をうたう新モデルの登場は、長文コンテキスト推論のメモリコスト(GPU/HBM調達と推論コスト)を直接引き下げる方向の技術進歩であり、推論インフラの経済性を左右する点が注目される。ただしRSS由来の発表情報のみで、ベンチマークや実運用での品質・コスト削減効果の裏付け、提供主体の収益モデルは不明なため、間接的な情報として扱い、モデル提供企業や推論チップ・メモリ需要への波及を継続的に検証したい。