DeepSeekのトップモデルV4 Flash、実エージェントタスクで苦戦、価格は急騰
DeepSeek's top-ranked V4 Flash stumbles on real agent tasks as its prices surge
DeepSeekのV4 Flashモデルは、リリース以来、モデルリーダーボードでトップを走り、開発者から「モンスター」と称賛されてきた。しかし、実世界でのテストでは、複雑なエージェントタスクの53.8%しか完了できなかった。Composioが実施したテストでは、Gmail、GitHub、Slack、Google Sheetsなどのライブツールを含む30の困難なマルチステップタスクに対し、Claude Code、Codex、OpenCodeなどの8つの異なるエージェントハーネスでモデルを実行した結果、240回の実行中129回しか成功せず、30のワークフローのうち6つしか全てのハーネスで完全に完了しなかった。この結果は、エンタープライズ環境での成功には、モデルの能力だけでなく、オーケストレーションが重要であることを示唆している。DeepSeekはV4 FlashとProモデルの価格を大幅に引き上げる予定であり、これは当初の低価格という魅力の一部を損なう可能性があるが、同時に「安価な中国製モデル」という単純な物語を超え、エンタープライズでのモデルの適材適所やワークフローへの適合性を探る動きとも言える。価格は最大1,100%上昇する可能性があり、特にピーク時にはインプットトークンあたり22セント、アウトプットトークンあたり66セント(Flashモデル、オフピーク時)から、インプットトークンあたり44セント、アウトプットトークンあたり1.32ドル(同、ピーク時)へと、57%から371%の増加となる。Proモデルも同様に51%から355%の値上げとなる。この価格体系の変更は、推論のタイミングを経済的な変数とするものであり、バッチ処理などの待機可能なタスクは安価な時間帯に移行させ、インタラクティブエージェントやライブオペレーションは高価な時間帯に移行させることになる。アナリストらは、この値上げがDeepSeekの価格優位性を縮小させ、中国 origin への懸念を増大させる可能性があると指摘する一方、依然として競合他社と比較して安価であるとも述べている。エンタープライズでの採用は、コスト、信頼性、データガバナンス、セキュリティなどの要因により未だ不透明だが、バッチ処理や特定のワークロードでの利用が期待されている。Metaのソフトウェアエンジニアは、モデルがアクションを実行できるようになると、信頼性が知性と同じくらい重要になると指摘し、構造化されたツール出力、アクション成功の検証、リトライ/失敗処理、モデルの権限範囲の明確化が不可欠であると述べている。開発者レベルでの普及は証明されているが、エンタープライズでの標準化はまだである。
- DeepSeek V4 Flashは実エージェントタスクの成功率が53.8%にとどまり、30のワークフロー中6つのみ全ハーネスで完全成功した
- DeepSeekはV4 FlashとProモデルの価格を最大371%(Flash)および355%(Pro)引き上げ、ピーク時にはFlashのインプットトークンあたり44セント、アウトプットトークンあたり1.32ドルに設定
- DeepSeekはピーク/オフピークの時間帯別価格設定を導入し、推論のタイミングを経済的変数とした
- Composioのテストでは8つのエージェントハーネスで240回の実行中129回しか成功せず、エンタープライズでの成功はオーケストレーション依存が示唆された
DeepSeekのフラッグシップモデルV4 Flashが実エージェントタスクで期待以下の性能(成功率53.8%)を示したこと、また価格を最大371%引き上げる決定は、中国製AIモデルの価格優位性と性能実証がエンタープライズ市場で問われている局面を示す。特に、ピーク/オフピークの時間帯別価格設定を導入し、推論タイミングを経済的変数とする新たな価格体系は、AIインフラのビジネスモデル変化として投資家の注目に値する。エージェントタスクでの信頼性・オーケストレーションの重要性が再確認された点も、AIツールチェーン企業への投資判断に影響する。