DeepSeek-V4 Latent Reasoning: 潜在空間での「思考」を実現するモデル
Show HN: DeepSeek-V4 Latent Reasoning – moving "thinking" into latent space
DeepSeek-V4-Flash-0731-Latent-Reasoningは、モデルが潜在空間で「思考」する能力を持つ自己完結型モデルです。以前のバージョンでは、推論ヘッドをベースモデルに後付けする必要がありましたが、本バージョンでは、NVFP4に量子化されたバックボーン、DSparkドラフトブロック、および学習済みの潜在推論ヘッドが単一のリポジトリに統合されています。これにより、モデルの提供が容易になりました。BBHベンチマークでは、27サブタスクの集計スコア0.94 ± 0.008を達成し、特に多段階の状態追跡を必要とするタスクで高い性能を示しました。アーキテクチャは、レイヤー35の隠れ状態をプロジェクションし、潜在空間でデコードしてから残差ストリームに戻すことで機能します。推論には、専用のvLLMフォークとreasoning-addonのインストールが必要です。このモデルはBlackwell世代(sm120)以上のハードウェアを要求し、約158〜164 GiBの重みを格納するために最低160 GiBのVRAMが必要です。将来の改善点として、より広範なベンチマーク、潜在空間の解釈可能性の向上、および構文的に重いタスクの処理能力向上が挙げられています。
- DeepSeek-V4-Flash-0731-Latent-Reasoningが公開され、潜在空間での推論を実現する自己完結型モデルとして提供が容易になった
- BBHベンチマークで27サブタスクの集計スコア0.94 ± 0.008を達成し、多段階状態追跡タスクで高い性能を示した
DeepSeek-V4は潜在空間で推論を行う新しいAIモデルであり、BBHベンチマークで0.94±0.008という高いスコアを達成し、モデル提供の容易化を進めている。AIモデルのアーキテクチャ進化と性能向上を示す具体的事象であり、AI基盤モデル競争の動向を注視すべき投資材料となる。