CoSafe: LLM推論を用いた協調型V2V知覚フレームワークによる実写ドライブレコーダー映像からの危険検知
CoSafe: A Cooperative V2V Perception Framework with LLM Reasoning for Hazard Detection on Real Dashcam Data
本論文は、単一車両システムでは克服できない遮蔽問題を解決する、車両間通信(V2V)による協調知覚フレームワーク「CoSafe」を提案する。既存のフレームワークがシミュレーション環境や高価なマルチセンサープラットフォームに依存するのに対し、CoSafeはGPS統合型ドライブレコーダー映像という実世界のデータで構築されている。YOLOv8オブジェクト検出、協調状態融合、大規模言語モデル(LLM)を用いたChain-of-Thought推論、決定論的ルールベースの安全検証レイヤーを追加し、既存の画像ベース測位アルゴリズムを拡張した。主な貢献は、異なるタイムスタンプで重複する地理的位置からキャプチャされたフレームを関連付ける時空間車両マッチングフレームワークであり、非同期かつ部分的に観測可能な車両ストリームを横断した協調的危険推論を可能にする。また、危険検知が車間情報共有に依存するケースの割合を定量化する「Cooperation Gain」指標も導入した。実世界の遮蔽された歩行者シナリオでは、後続車両自身の検出器が歩行者を認識する少なくとも1.73秒前に協調により早期警告が得られ、人間の手動アノテーションに対するCooperation Gainは0.533と測定された。単一車両、ルールのみ、LLMのみの構成に対するアブレーションにより各コンポーネントの寄与を分離し、ネガティブシナリオテストでは通常の交通状況で偽アラームはゼロであった。
- 車車間通信(V2V)による協調知覚フレームワーク「CoSafe」を提案し、単一車両では克服できない遮蔽問題を解決する
- GPS統合型ドライブレコーダー映像という実世界データで構築し、シミュレーション環境や高価なマルチセンサー依存の既存手法と差別化
- YOLOv8物体検出、協調状態融合、LLMによるChain-of-Thought推論、ルールベース安全検証レイヤーを組み合わせて構成
- 異なるタイムスタンプの重複地理的位置フレームを関連付ける時空間車両マッチングを導入し、非同期・部分観測の車両ストリーム横断で協調危険推論を実現
- 実世界の遮蔽歩行者シナリオで、後続車両自身の検出器が認識する少なくとも1.73秒前に協調による早期警告を達成
- 人間の手動アノテーションに対する Cooperation Gain は0.533と測定、ネガティブシナリオテストでは通常交通状況で偽アラームはゼロ
V2V協調知覚をGPS付きドライブレコーダー映像という低コストな実データで実現し、遮蔽歩行者を自車検出より1.73秒早く警告できた点は、自動運転・ADASの安全余裕(センサー冗長性)をソフトウェアと車車間通信で補える可能性を示す。偽アラームゼロも実用化の障壁低下につながる。ただし本件は論文段階であり、商用化には車載V2Xの普及率・標準化・規制が前提となるため、短期の収益寄与は限定的で、中長期の協調型自動運転エコシステム投資の材料として見ている。