AIが単独で完了できる最大のソフトウェアプロジェクトとは?

AIのソフトウェアエンジニアリング能力を評価するため、METRと共同で「MirrorCode」というベンチマークを開発した。MirrorCodeは、AIモデルにソースコードなしでプログラム全体をエンドツーエンドで再実装させる長期間のコーディングタスクをテストする。25のターゲットプログラムは、Unixユーティリティ、データシリアライゼーション、バイオインフォマティクス、コンパイラ、暗号化など多岐にわたる。一部のタスクでは、AIが19日間、2,600ドルの費用をかけて人間の数ヶ月分に相当する作業を完了した。データ汚染の可能性はあるものの、AIは既に長期間のコーディングタスクを解決できる能力を示しており、Claude Opus 4.7はバイオインフォマティクスツールキット「gotree」(約16,000行)を14時間、251ドルで再実装した。この研究は、AIのソフトウェア開発における長期的な能力を測ることを目的としている。