英国AISIとEvalEval、ベンチマーク結果の再現性を向上させる取り組み
How UK AISI and EvalEval Are Making Benchmark Results Reproducible
英国AIセキュリティ研究所(AISI)とEvalEvalは、AIモデルの評価結果の再現性を高めるための共同研究を進めている。両者は、評価結果を共通の構造で報告するためのスキーマ「Every Eval Ever(EEE)」と、評価結果と解釈に必要な情報を集約するプラットフォーム「Evaluation Cards」を開発した。これにより、モデルの性能に関する証拠となる評価結果が、フォーマットやプラットフォームの違いを超えて、再現可能な形で共有されるようになる。今回の共同研究フェーズでは、AISIは公開されている評価方法と結果をEvaluation Cardsを通じて提供し、HealthBench、FrontierMath、Humanity's Last Exam、SWE-Bench Pro、Terminal-Bench 2.0の5つのベンチマークにおける検証済み結果、コンテキスト、設定情報が含まれる。対象モデルはClaude Opus 4、Claude Opus 4.5、Claude Opus 4.6、GPT-5、GPT-5.2、GPT-5.4など6つの最先端モデルである。また、関連するサイバー評価の結果も含まれる。この取り組みは、評価結果の透明性を高め、研究者や実務家が個々の研究を詳細に検討し、エコシステム全体での知見を比較することを可能にする。
- 英国AIセキュリティ研究所(AISI)とEvalEvalが、AIモデル評価結果の再現性向上に向けた共同研究を進めている。
- 両者は評価結果を共通構造で報告するスキーマ「Every Eval Ever(EEE)」と、評価結果と解釈情報を集約するプラットフォーム「Evaluation Cards」を開発した。
- AISIはEvaluation Cardsを通じてHealthBench、FrontierMath、Humanity's Last Exam、SWE-Bench Pro、Terminal-Bench 2.0の5ベンチマークの検証済み結果・コンテキスト・設定情報を公開。
- 対象モデルはClaude Opus 4、Claude Opus 4.5、Claude Opus 4.6、GPT-5、GPT-5.2、GPT-5.4など6つの最先端モデルで、関連するサイバー評価結果も含まれる。
AIモデル評価の再現性・透明性を共通スキーマで担保する動きは、モデル選定や性能比較の「証拠」の信頼性を底上げする。英国AISIという政府機関が主導し、最先端モデルの検証済み結果を公開する枠組みができることで、ベンチマーク成績を根拠にした調達・投資判断がより客観的になり、評価インフラ自体が新たな競争軸・エコシステムになる可能性がある点に注目。ただし発表内容はベンチマーク整備が中心で、直接の収益インパクトは限定的。