エージェンティックな信頼性と評価:悪い評価で痛い目に遭った企業ほど、人間をループから外す可能性が高い
Agentic reliability and evaluations : Enterprises that got burned by a bad eval are the most likely to remove humans from the loop, not the least
2026年7月の調査では、108社の企業のうち、自動評価への信頼が急増したにもかかわらず、評価が予測するはずのエージェントの失敗率は全く変化しませんでした。自動評価を完全に信頼する企業の割合は、6月から13%にほぼ3倍になりましたが、評価と現実世界の成果が一致しないという不満は10ポイント減少しました。しかし、依然として半数近くの企業(49%)が、評価をパスしたエージェントが顧客対応で失敗する事態を経験しています。特に、失敗経験のない企業では自動評価への信頼が24%に達する一方、失敗経験のある企業では4%に留まりました。興味深いことに、失敗経験のある企業ほど、人間を介さずにエージェントをデプロイする(ゼロ・ヒューマン・ループ)傾向が強く、85%がその方向へ進んでいます。ベンダー市場では、専用評価ツールの利用率が減少し、Braintrust(15%)やDeepEval(17%)のような専門プラットフォームがシェアを伸ばしました。購入基準は価格から統合の容易さにシフトし、市場が形成されつつある兆候が見られます。一方で、本番環境での監視は依然としてエージェントの稼働状況のみに焦点を当てており、出力の正確性を監視しているのは3分の1未満です。これは、自動評価への信頼向上とは裏腹に、実際の信頼性向上には繋がっていない現状を示唆しています。人間によるレビューへの投資は増加傾向にあり、失敗経験のある企業ほどこれを重視する傾向があります。
- 2026年7月調査で、自動評価を完全に信頼する企業の割合が6月から13%にほぼ3倍増加したが、エージェントの失敗率は変化しなかった
- 失敗経験のある企業ほどゼロ・ヒューマン・ループへの移行傾向が強く、85%が人間を介さないデプロイへ進んでいる
- 専用評価ツール市場ではBraintrust(15%)とDeepEval(17%)などの専門プラットフォームがシェアを拡大し、購入基準が価格から統合の容易さにシフト
- 本番環境での監視は依然としてエージェント稼働状況のみに焦点が当たり、出力正確性を監視している企業は3分の1未満
AIエージェントの自動評価市場が形成されつつあることを示す調査結果。企業の自動評価への信頼が急増する一方で、エージェントの実障害率は改善しておらず、評価ツールの信頼性と実運用の乖離が明確になっている。専用評価プラットフォーム(Braintrust、DeepEval)のシェア拡大や、購入基準が価格から統合容易性へシフトしている点は、AIエージェント評価・監視市場の黎明期を示す投資シグナルとして注目に値する。