AIは経験豊富な開発者を遅くする:体感速度と実測値の乖離
The gauge broke: devs felt 20% faster with AI, measured 19% slower
METRによるランダム化比較試験では、経験豊富な開発者はAIツール使用時に体感速度が約20%向上したと感じたものの、実際には作業時間が約19%増加した。この乖離は、AIがタイピング速度を向上させる一方で、プロンプト入力、待機、不正確な出力のレビューといったオーバーヘッドを追加し、既存のコードベースでの作業においてボトルネックとなっていたレビュー段階をさらに高コストにしたためである。ジュニア開発者や新規プロジェクトではAIによる速度向上の効果が見られたが、経験豊富な開発者が既存のコードベースで作業する場合には、体感速度と実測値の間に大きな乖離が生じることが示された。これは、開発チームの生産性指標として広く用いられている「体感速度」が、実際の状況を正確に反映していない可能性を示唆している。他の大規模データ分析でも、AI導入後にプルリクエストのマージ数やサイズが増加する一方で、レビュー時間も増加し、全体的なデリバリー速度に大きな変化はなく、レビューなしのマージが増加する傾向が見られた。ツールの開発も、生成から検証へとシフトしており、この検証段階のボトルネックが今後の焦点となることが示唆されている。
- METRによるランダム化比較試験で、経験豊富な開発者はAIツール使用時に体感速度が約20%向上したと感じたが、実際の作業時間は約19%増加した
- AIツール使用時、ジュニア開発者や新規プロジェクトでは速度向上効果が見られた一方、既存コードベースでの作業ではレビュー段階のボトルネックが顕在化した
- AI導入後、プルリクエストのマージ数やサイズは増加したが、レビュー時間も増加し全体のデリバリー速度に大きな変化はなく、レビューなしのマージが増加する傾向が見られた
本記事は、AIアシスタントが経験豊富な開発者の生産性に与える影響について、体感と実測値に乖離があることをRCTで示した点が重要。AIツール導入が「速くなった感覚」を与える一方で、既存コードベースのレビュー工程がボトルネックとなり、実質的なデリバリー速度が向上しない可能性を示唆している。投資家としては、AIコーディング支援ツールの導入効果を過大評価せず、特に既存システム開発における検証・レビュー工程の自動化ニーズに着目すべき。検証段階のボトルネック解消を狙うスタートアップや、コードレビュー品質を維持しつつ効率化するソリューションに投資機会がある。