CursorBench 3.1、コード理解・バグ発見・計画・コードレビューに焦点を当てた問題を追加
CursorBench 3.1
CursorBench 3.1では、コードベースの理解、バグ発見、計画、コードレビューに焦点を当てた問題が導入され、一部の編集タスクの評価基準が改善されました。このベンチマークでは、各モデルの公開されているトークン単価(入力、キャッシュ読み取り、キャッシュ書き込み、出力)をCursorBench 3.1タスクで使用されたトークンに適用し、タスク全体で平均した「タスクあたりの平均コスト」が算出されます。例えば、Fable 5 Maxは72.9%のスコアで63,842トークンを使用し、タスクあたりの平均コストは$18.02でした。GPT-5.5 Extra Highは64.3%のスコアで17,905トークンを使用し、平均コストは$4.37でした。結果にはばらつきがある可能性があり、スコアの小さな違いは統計的に有意ではない場合があります。
- CursorBench 3.1が公開され、コード理解・バグ発見・計画・コードレビューに焦点を当てた問題が追加された
- タスクあたりの平均コスト指標が導入され、Fable 5 Maxは72.9%スコアで$18.02、GPT-5.5 Extra Highは64.3%スコアで$4.37という結果が示された
CursorBench 3.1は、コード生成だけでなくコード理解・バグ発見・計画・コードレビューといった高次の開発工程を評価するベンチマークであり、AIコーディングアシスタントの能力進化を測る新たな指標を提供する。注目すべきは「タスクあたりの平均コスト」という経済性指標を導入している点で、精度(スコア)とトークン消費(コスト)の両軸でモデル比較が可能になったことだ。例示されたFable 5 Max(72.9%, $18.02/タスク)とGPT-5.5 Extra High(64.3%, $4.37/タスク)の比較は、高スコア≠高コスト効率を暗に示しており、AIコードアシスタントの選定基準が単なる性能からコストパフォーマンスへ移行しつつあるシグナルと捉えられる。このベンチマークの普及度や業界標準化の動向次第では、AIコーディングツール市場の競争構造に影響を与える可能性がある。