ITBench-AA: エージェント型エンタープライズITタスク初のベンチマークで、最先端モデルのスコアが50%未満に
ITBench-AA: Frontier Models Score Below 50% on the First Benchmark for Agentic Enterprise IT Tasks — by Artificial Analysis and IBM
Artificial AnalysisとIBMは、エージェント型エンタープライズITタスクを評価する初のベンチマークシリーズ「ITBench-AA」を発表しました。最初の評価対象はサイト信頼性エンジニアリング(SRE)タスクで、最先端モデルのスコアは50%未満でした。ITBench-AAのSREタスクは、Kubernetesのインシデント対応におけるモデルのパフォーマンスをベンチマークし、モデルやエージェントはログの読み取り、依存関係の追跡、複雑なインフラストラクチャ全体にわたる根本原因エンティティの特定を通じてライブシステムを診断する必要があります。IBMはエンタープライズIT運用の深い専門知識を活用してITBenchデータセットを開発しました。Claude Opus 4.7が47%でリードし、GPT-5.5が46%、Qwen3.7 Maxが42%と続きました。オープンウェイトモデルではGLM-5.1が40%で最高スコアでした。全59のSREタスク(40の公開タスクと19の新規タスク)には、アラート、イベント、トレース、メトリクス、ログ、アプリケーションのトポロジーを含むKubernetesインシデントスナップショットが提供され、モデルはインシデントの原因となった最小限の独立した根本原因Kubernetesエンティティのセットを特定する必要があります。ターン数が多いほど精度が高くなるわけではなく、過度に調査するモデルは誤検知を増やす傾向があります。Gemma 4 31Bはコスト効率でも優れており、タスクあたりのコストが0.14ドルで37%のスコアを達成しました。
- Artificial AnalysisとIBMがエージェント型エンタープライズITタスクのベンチマーク「ITBench-AA」を発表
- ITBench-AAの最初のSREタスク評価で最先端モデルのスコアが50%未満にとどまった
IBMとArtificial Analysisが共同で公開したITBench-AAは、エンタープライズIT運用(SRE)におけるAIエージェントの実タスク性能を初めて体系的に評価するベンチマークである点が重要。Claude、GPT、Qwen、GLMといった最先端モデルが軒並み50%未満のスコアにとどまったことは、AIエージェントの企業実務適用がまだ初期段階にあることを示しており、改善の余地が大きい領域として注目に値する。特にオープンウェイトモデル(GLM-5.1)が40%で健闘し、Gemma 4 31Bがタスクあたり0.14ドルと低コストで37%を達成した点は、コスト効率を重視するエンタープライズ導入において競争環境を大きく変える可能性がある。