Hugging Face Hubでモデル評価を容易にする新ツール「Evaluation on the Hub」を発表

Hugging Faceは、コードを書かずに任意のモデルを任意のデータセットで評価できる新ツール「Evaluation on the Hub」を発表しました。このツールはAutoTrainを基盤とし、モデルカードのメタデータに評価結果を直接エンコードします。これにより、データサイエンティストは最適なモデルの選択、研究者は結果の再現、倫理学者はリスクの理解が容易になります。ユーザーはモデル評価スペースでデータセットを選択し、タスク、データセット、メトリクスを設定してモデルを評価できます。評価結果は自動的にプルリクエストとしてモデルカードに反映され、リーダーボードでモデル間の比較も可能です。このツールは、Hugging Faceのエコシステムに統合されており、既存のデータセットページやモデルカードから利用できます。