BigCodeBench: 次世代のHumanEval

BigCodeBenchは、LLMのプログラミング能力を評価するための新しいベンチマークであり、1,140の関数レベルのタスクを含み、139のライブラリから複数の関数呼び出しをツールとして利用する能力を試します。各タスクは平均99%の分岐カバレッジを持つ5.6個のテストケースで検証されます。BigCodeBenchは、複雑でユーザー指向の指示、明確な機能説明、入出力形式、エラーハンドリング、検証済みのインタラクティブな例を備えています。LLMのパフォーマンスは、HumanEvalやMBPPと同様に、厳選されたテストケースを用いたPass@1(最初の生成コードスニペットでタスクを正しく解決する割合)で評価されます。特に、モデルが長いコードプロンプトでインポート文などを省略する「モデルの怠惰」に対処するため、キャリブレーションされたPass@1が使用されます。GPT-4oは、BigCodeBench-Completeで61.1%、BigCodeBench-Instructで51.1%のキャリブレーションPass@1を達成し、他のモデルを大きく上回っています。また、Eloレーティングシステムも導入され、モデルのランキング付けに使用されています。BigCodeBenchは、Pythonのみに対応しており、多言語対応、厳密性、汎化能力、進化、インタラクションの側面で今後の拡張が計画されています。評価フレームワークはPyPIからインストール可能で、Dockerイメージも提供されています。