SlopCodeBenchにおけるOpus 5のベンチマーク評価

本記事は、新しい長期間コーディングベンチマークであるSlopCodeBenchを用いたClaude Opus 5の性能評価について詳述している。SlopCodeBenchは、問題全体を一度に提示するのではなく、複数の「チェックポイント」を通じて段階的に要件を開示する点が特徴であり、実際のソフトウェア開発に近い状況を模倣している。著者による小規模なサブセットでのテストでは、Opus 5は24%の厳密合格率を達成したが、これは先行モデルであるOpus 4.6の17%から大きくは向上しなかった。テストされた全モデルは、チャレンジが進むにつれて冗長性や複雑性が増加する傾向が見られ、Opus 5はOpus 4.8と比較して5倍の関数を生成した。著者は、現在のモデルが段階的にコードベースを構築する実際のソフトウェアエンジニアリング作業において、まだ自律的に信頼できるレベルには達していないと結論付けている。記事では、コード品質指標(サイズ、複雑性、重複、分解、ルール違反、依存関係グラフなど)についても詳細に分析されており、これらの指標がモデルの性能を評価する上で有用である可能性が示唆されている。特に、モデルが生成するコードの保守性や進化のしやすさを測る指標としてSlopCodeBenchの有効性が強調されている。