Hugging Face、AI評価結果の共有を容易にする「Every Eval Ever」と「Community Evals」を統合

Hugging Faceは、AI評価結果の報告方法を改善する「Every Eval Ever (EEE)」プロジェクトと、ベンチマークスコアの報告を分散化する「Community Evals」を統合しました。EEEは、評価者、モデル、アクセス方法、生成設定、メトリクス、サンプルごとの出力などを記録するJSONスキーマを提供し、現在約229,000件の評価結果を収録しています。この統合により、EEEの評価結果をHugging FaceのCommunity Evalsに直接送信できるようになり、モデルページやベンチマークリーダーボードに表示されるようになります。また、EEEの完全な記録へのリンクが付与され、評価の透明性と信頼性が向上します。Hugging Faceは、EEEの記録をCommunity Evalsが期待するYAMLファイルに変換するツールを提供しており、これにより、ユーザーは評価結果を二重に管理する必要がなくなります。この機能は、既存のEEE貢献者だけでなく、初めて評価を報告するユーザーにも利用可能です。評価結果は、モデルカードに表示され、ベンチマークリーダーボードに集計されます。評価結果は、作者提出、コミュニティ提出、または独立検証済みであることを示すバッジが付与されます。変換ツールは、既存のEEE記録を基に、Hugging FaceのモデルリポジトリにYAMLファイルとして評価結果を書き込みます。このツールは、MMLU-Pro、GPQA、HLE、GSM8Kの4つの公式ベンチマークに対応しており、既存の評価結果との競合や、Hugging Face上のモデルリポジトリとの不一致などを検出し、レビュープロセスを経てからプルリクエストを開きます。