Terminal-Bench-Science 0.1: AIエージェントの科学研究ワークフロー評価ベンチマーク

スタンフォード大学の研究者らが主導する「Terminal-Bench-Science 0.1」は、AIエージェントの科学研究ワークフローにおける能力を評価する新しいベンチマークです。このベンチマークは、実際の科学研究から抽出された70のタスクを含み、生命科学、物理科学、地球科学、数学、工学の分野を網羅しています。最初のリリースでは、評価されたモデルの中でClaude Opus 5が30.0%の解決率を達成しました。このベンチマークは、科学界のニーズとAI開発の間のフィードバックループを形成し、科学研究を支援するAIエージェントの開発を促進することを目的としています。継続的なベンチマークとして進化し、将来的にはタスクの追加や改善が行われる予定です。Terminal-Bench-Science 0.2の開発も進行中です。