Waymo、AIプロジェクトはモデルの性能ではなく評価が成熟するまでリリースしない方針を表明

自動運転企業Waymoは、AIプロジェクトのリリース基準をモデルの性能だけでなく、評価(eval)の成熟度に置いている。「評価中心開発」というアプローチを採用し、評価をエンジニアリングの中核に据えている。Waymoはこれまでに2億2000万マイル以上の完全自動運転(ライダーのみ)走行を達成し、人間ドライバーと比較して重度の衝突事故傷害を17分の1に抑えている。同社エンジニアリングディレクターのManasi Joshi氏によると、評価はモデルトレーニング中、トレーニング後、シミュレーション中など継続的に実施され、単なるローンチ前の最終チェックではない。このアプローチは、顧客サービスエージェント、コーディングアシスタント、金融システムなど、他のAIアプリケーションを開発する企業にも適用可能であり、システムのパフォーマンスを確実に測定できない場合は、本番環境への導入準備ができていない可能性があると指摘している。Waymoは、生成マルチモーダルモデルを含む基盤モデル戦略を採用しており、オンボードシステムとオフボードインフラストラクチャの両方を最適化している。また、エンジニア向けの生産性向上ツールとしてもAIエージェントを活用しているが、これらのエージェントも信頼性と正確性を確保するために評価されている。最終的なリリース判断は自動システムに委ねず、人間による厳格な監視と安全リーダーの承認を経ている。