Qwen 3.8-MaxとClaude Opus 5のベンチマークスコアだけでは請求額は予測できない理由

AlibabaはQwen 3.8-Maxをリリースしたが、独立したベンチマークではその性能が期待ほどではない可能性が示唆された。この差は、トークンと時間の予算設定の違いに起因する。Alibabaはコーディングテストで5時間まで、PaperBenchでは12時間までを許容しているのに対し、独立したベンチマークであるVulcanBenchは45〜60分しか許容していない。この時間予算の違いが、結果の大きな差を生んでいる。モデル選択においては、成功したタスクあたりのコスト(失敗した試行を含めた総費用÷成功したタスク数)を指標とし、時間またはトークン予算を明示的な受け入れ基準に含めることが推奨される。また、ベンチマーク結果は、時間効率を暗黙的に測定しているため、単なる価格比較だけでなく、成功したタスクあたりのコストを考慮する必要がある。多くのグループが独立して「成功タスクあたりのコスト」を算出し始めており、VulcanBenchやLong-Horizon-Terminal-Benchなどがその例である。ベンダー側も、HubSpotやZendeskなどが成功報酬型の課金モデルを導入している。今週の変更点として、エージェント実行ごとに失敗理由(予算超過、検証失敗、ハーネスエラーなど)を区別して出力すること、モデルごとではなく努力レベルごとの計算コストを算出すること、トークンキャップをウォールクロックキャップの代わりに設定すること、デフォルト設定を確認することが挙げられている。