AdyenとHugging Faceがデータ分析タスクのためのベンチマーク「DABstep」を共同開発

AdyenとHugging Faceは、高度な大規模言語モデル(LLM)やAIエージェントのデータ分析能力を評価するためのベンチマーク「DABstep(Data Agent Benchmark for Multi-step Reasoning)」を共同開発した。DABstepは、Adyenの実際の業務から抽出された450以上の実世界のデータ分析タスクで構成されており、単純なクエリから複雑な反復的ワークフローまで、幅広い分析タスクを網羅している。このベンチマークは、構造化データと非構造化データ(ドキュメントやマニュアルなど)の両方を扱い、現実世界のユースケースに基づいている点が特徴である。現在の最先端のAIモデルでは、最も優れた推論ベースのエージェントでも正答率が16%に留まるなど、DABstepはAIモデルにとって大きな挑戦であることが示されている。これは、AIがデータ詳細の分析、自由形式テキストやデータベースでの推論、現実世界のユースケースへの対応といった能力において、まだ大きな進歩が必要であることを浮き彫りにしている。DABstepは、低バリアでの利用、品質評価、難易度の上昇を目的として設計されており、データセット、タスク、評価、リアルタイムリーダーボード、ベースラインモデルなどが提供されている。将来的には、タスクの範囲拡大、ドメインの多様化、データ規模の増大、マルチモーダル対応などが計画されている。