IBMとカリフォルニア大学バークレー校、IT-BenchとMASTを用いてエンタープライズエージェントの失敗原因を分析
IBM and UC Berkeley Diagnose Why Enterprise Agents Fail Using IT-Bench and MAST
IBM Researchとカリフォルニア大学バークレー校は、エージェント型LLMシステムが実世界のIT自動化タスク(インシデントトリアージ、ログ/メトリクス照会、Kubernetes操作など)でどのように失敗するかを調査した。従来のベンチマークが失敗の有無しか示さないのに対し、本研究ではMAST(Multi-Agent System Failure Taxonomy)を用いてITBench(SRE、セキュリティ、FinOps自動化の業界ベンチマーク)の実行トレースを分析し、失敗の根本原因を特定した。Gemini-3-Flash、Kimi-K2、GPT-OSS-120Bの3つのモデルクラスの310のITBench SREトレースを分析した結果、Gemini-3-Flashのような最先端モデルは検証段階でのボトルネックなど単一の失敗モードに陥りやすい(平均2.6モード/トレース)のに対し、GPT-OSS-120Bのような大規模オープンモデルは失敗が連鎖・複合しやすい(平均5.3モード/トレース)ことが明らかになった。全モデルに共通する最も重要な失敗要因は「不正確な検証(FM-3.3)」であり、エージェントが根拠なく成功を宣言するケースが多かった。Kimi-K2はタスク完了認識の失敗(早期終了+46%、終了条件未認識+43%)に苦戦した。本研究は、単なる成功率だけでなく、失敗の具体的な原因と最も効果的な対策を明らかにすることの重要性を示唆している。
- IBM Researchとカリフォルニア大学バークレー校が、MASTを用いてITBench上のエンタープライズエージェントの失敗原因を分析した研究成果を発表
- 分析の結果、全モデルに共通する最大の失敗要因は「不正確な検証(FM-3.3)」であることが判明
本論文は、エンタープライズAIエージェントの実運用における失敗原因を分解した点が重要。単なる成功率の公表ではなく、失敗モードの分類(MAST)と原因分析により、どのモデルがどの段階でつまづくかが可視化された。特に「不正確な検証(根拠なく成功と宣言)」が全モデル共通の最大の弱点であり、エンタープライズ向けAIエージェントの信頼性向上には検証機構(self-verification / grounding)への投資が鍵となることを示唆する。Kimi-K2やGPT-OSS-120BのようなOSSモデルは失敗が連鎖・複合しやすく、SREやFinOpsなどのミッションクリティカル領域ではGeminiクラスのクローズドモデルが優位に立つ可能性を示しており、AIエージェントのユースケース選定・調達判断に有用な分析である。