vLLM v0.28.0 リリースノート

vLLM v0.28.0は、270名のコントリビューター(うち76名が新規)による584件のコミットを含むメジャーアップデートです。主な改善点として、Kimi-K3のパフォーマンス最適化(DCPサポート、FlashKDAカーネルの統合、SiTU活性化サポート、GEMM-RS、all-gatherの高速化、適応的推論トークンバジェット、共有エキスパートシャーディングによるメモリ削減)、DeepSeek V4の機能強化(MLAのE2Eサポート、AMD Quark NVFP4サポート、推論プロンプトとマッピング、カーネル最適化、CUDAグラフ領域の縮小、ROCm対応)、推論デコーディングの進歩(DFlash2、DSpark信頼度スケジューリング検証、非同期スケジューリング)、モデルランナーV2の成熟(E/P/D分離、重みオフロード、マルチレイヤーMTP KVキャッシュ、エンコーダーCUDAグラフ、デコーダー/トランスフォーマー/アテンションフリーモデルのプーリング、thinking_token_budgetサポート)、階層化KVキャッシュオフロード(ディスクオフロード、モジュールパス経由の二次ティアマネージャー、部分的な二次ティアロード結果、ティアリングメトリクス、並列処理非依存のCPUレイアウト)、RustフロントエンドとgRPC(スタンドアロンレンダラー、gRPC経由のマルチモーダル画像推論、データ並列ランクルーティング、RLライフサイクル制御)、デフォルト設定の変更(max_num_batched_tokensの増加、Mambaモデルのプレフィックスキャッシュデフォルト有効化、Blackwell CUDAグラフキャプチャデフォルトの引き上げ)が含まれます。また、bitsandbytesサポートのアウトオブツリープラグイン化、Transformersのバージョンアップ、非推奨機能の削除などの破壊的変更もあります。多数の新しいモデル(Muse Glimmer、Ling 3.0、Dots3 NOTE、Interns2mobiusなど)のサポートが追加され、Qwen、Transformersモデリングバックエンド、LoRA、ビジョンエンコーダー、MoE、推論デコーディングカバレッジ、各種モデルの正確性向上、マルチモーダルパフォーマンス改善も行われています。エンジンコアでは、推論デコーディング、KVキャッシュとスケジューリング、パフォーマンス最適化、ハイブリッド/Mamba、RLワークフロー、起動時の堅牢性向上に焦点が当てられています。ハードウェアとパフォーマンスの面では、NVIDIA、AMD ROCm、Intel XPU、CPUそれぞれで最適化と新機能が追加されています。大規模サービングでは、E/P/D分離、KVオフロード、Mooncake、コネクタ、並列処理に関する改善が行われました。量子化では、オンライン量子化、NVFP4、新しいカーネル、および修正が含まれています。APIとフロントエンドでは、リクエスト優先度、セッションID、ストリーミングパーサーエンジン、Rustフロントエンド、Anthropic/Cohere API、構造化出力、堅牢性に関する機能が追加・改善されています。セキュリティ面では、DoS脆弱性の修正、DeepStreamのGPUバックエンド分類、オーディオデコード制限の強化、APIキーに関する注意喚起が行われています。依存関係として、Transformers、huggingface-hub、fastsafetensorsのアップグレード、ROCmスタックの更新、Ubuntuランタイムイメージのアップグレード、DeepGEMM、DeepEP、FlashAttentionの更新が含まれています。破壊的変更と非推奨事項として、bitsandbytesサポートの移行、非推奨機能の削除、API変更、メトリクス名の変更、レガシーコードの削除が挙げられています。多数の新規コントリビューターが参加しました。