BigCodeArena: コード実行によるコード生成の評価プラットフォーム
BigCodeArena: Judging code generations end to end with code executions
BigCodeArenaは、コード生成モデルの評価をエンドツーエンドで行うプラットフォームです。LMArenaに着想を得て開発され、ユーザーはコード生成タスクを提出し、2つの異なるモデルが生成したコードを実行して、どちらがより優れた結果を出したかに投票できます。この結果は、コミュニティで評価の高いモデルを表示するリーダーボードに集約されます。従来のベンチマーク(HumanEvalなど)が限定的なテストケースしかカバーしないのに対し、BigCodeArenaは実際のコード実行によるフィードバックを重視しています。Python、JavaScript、TypeScript、HTML、C++など10言語と、React、Vue、PyGameなどの8つの実行環境をサポートし、生成されたアプリケーションの操作も可能です。2025年2月のローンチ以来、500人以上のユーザーから14,000件以上の会話と4,700件以上の評価投票が集まっています。トップパフォーマーとしてはo3-miniやo1-miniなどが挙げられ、GPT-4oやGemini-2.0-Pro/Flashがそれに続きます。また、コードの質を評価する報酬モデルとしても実行結果が判断精度を向上させること、および自動評価ベンチマークであるAutoCodeArenaも開発・公開されています。BigCodeArenaのコードベース、データセット、ベンチマークは公開されており、今後の言語サポート拡充やライブベンチマークの提供などが計画されています。
- BigCodeArenaが2025年2月にローンチし、コード生成モデルの実コード実行ベース評価プラットフォームを公開
- AutoCodeArena(自動評価ベンチマーク)が開発・公開された
- 500人以上のユーザーから14,000件以上の会話と4,700件以上の評価投票が集まった
BigCodeArenaは、コード生成AIモデルの性能評価を実コード実行ベースで行う新しいプラットフォームであり、従来の静的ベンチマークでは捉えきれなかった実用的なコード品質を測れる点に価値がある。14,000件以上の会話と4,700件以上の評価投票が集まっており、コミュニティ主導で評価が進んでいることや、トップパフォーマーにo3-miniやo1-miniがランクインしている点は、コード生成領域におけるモデルの実力序列が変わりつつあることを示唆する。また、自動評価ベンチマークAutoCodeArenaも公開されており、今後のモデル比較や改善に役立つインフラとして、AIエージェントや開発支援ツールに関連する投資判断において参考になる。