VAKRA:AIエージェントの推論、ツール使用、および失敗モードを評価する実行可能なベンチマーク

VAKRAは、AIエージェントがエンタープライズライクな環境で推論し、行動する能力を評価するための、ツール連携型の実行可能なベンチマークです。従来のベンチマークとは異なり、VAKRAはAPIとドキュメントを横断する構成的推論を測定し、完全な実行トレースを使用してエージェントが多段階のワークフローを確実に完了できるかを評価します。このベンチマークは、ローカルでホストされた8,000以上のAPIと、62ドメインにわたる実際のデータベース、およびドメインに合わせたドキュメントコレクションを備えた実行可能な環境を提供します。タスクは、自然言語のツール使用制約の下で、構造化されたAPIインタラクションと非構造化検索を組み合わせた3〜7ステップの推論チェーンを必要とします。VAKRAは4つのタスクで構成され、それぞれ異なる能力をテストします。モデルはVAKRAでパフォーマンスが低いことが示されており、記事ではタスクの詳細と失敗モードの分析が提供されています。評価フレームワークは、最終的な出力だけでなく、ツール呼び出し、入力、中間結果を含む完全なツール実行トレースを評価します。失敗分析は、ツールの選択、引数の提供、引数の値の正確さ、最終応答の正確さといった段階的なカテゴリに分類されます。特に、マルチホップ推論、マルチソース(APIとドキュメント検索の組み合わせ)、およびツール使用ポリシーの遵守は、エージェントの信頼性にとって重要な課題であることが示されています。