Hugging Face、コミュニティによる評価結果の透明性を高める新機能「Community Evals」を導入

Hugging Faceは、AIモデルの評価における透明性と信頼性を向上させる新機能「Community Evals」を導入しました。この機能により、ベンチマークデータセットのリポジトリがリーダーボードをホストできるようになり、モデルは自身の評価スコアを保存できます。コミュニティはプルリクエストを通じて結果を提出でき、検証済みバッジによって結果の再現性が保証されます。従来のブラックボックスなリーダーボードへの依存から脱却し、評価プロセスを分散化・透明化することで、ベンチマークスコアと実際のパフォーマンスとの乖離や、報告されるスコアの不一致といった課題に対処することを目指します。当初は4つのベンチマークから開始し、徐々に拡大していく予定です。この機能はベータ版であり、フィードバックを募集しています。