ScreenSuite: GUIエージェント評価のための包括的なベンチマークスイートが登場

Hugging Faceは、GUIエージェントのパフォーマンスを評価するための包括的なベンチマークスイート「ScreenSuite」を発表しました。ScreenSuiteは、知覚、グラウンディング、単一ステップアクション、マルチステップエージェントといったGUIエージェントの能力を網羅する13のベンチマークを提供します。特にマルチステップエージェントの評価には、E2BサンドボックスやDockerベースのUbuntu/Android仮想マシンをサポートし、再現性と使いやすさを向上させています。このスイートは、視覚情報のみに依存し、アクセシビリティツリーなどのメタデータを使用しない点が特徴で、より現実的で挑戦的な評価環境を提供します。Qwen-2.5-VL、UI-Tars-1.5-7B、Holo1-7B、GPT-4oなどの主要なVLMが評価対象となっています。ScreenSuiteはGitHubで公開されており、コミュニティによる貢献を奨励しています。