LM-JEPAを用いたコネクテッド・自動運転車向け物体検出とシーン認識
Object Detection and Scene Perception for Connected and Autonomous Vehicles Using LM-JEPA
本論文は、リソース効率の良いコネクテッド・自動運転車向け協調認識フレームワークであるLM-JEPA(latent model-joint embedding predictive architecture)を発表した。LM-JEPAは、潜在予測表現学習と軽量マルチモーダル推論を統合する。都市部および高速道路環境での自動運転には、厳しい遅延、エネルギー、通信の制約下での正確なシーン理解が必要であり、エッジデプロイメントにおける大規模言語モデル(LLM)やビジョン・言語モデル(VLM)ベースのアプローチの実用性を制限している。この課題に対処するため、LM-JEPAは、カメラ、LiDAR、レーダー、地図データなどの異種入力を、共同埋め込み予測アーキテクチャを用いて統一された潜在空間にエンコードし、トークンレベルの推論なしに効率的な認識と推論を可能にする。既存の潜在空間学習アプローチが主に単一モーダル認識のための予測視覚埋め込みを学習するのに対し、本フレームワークはマルチモーダル潜在推論と適応型センサー融合を統合し、リソース制約のある車両エッジ環境下での協調認識をサポートする。協調認識フレームワークは、センサーとモデルの寄与を動的に重み付けするコンテキスト適応型マルチモーダル融合メカニズム、およびリソースを意識した操作のための選択的潜在伝送と適応型デコーディングを導入する。軽量VLMは、遅延とエネルギー制約に基づいた適応型オフローディングによるリアルタイム車載推論をサポートするためにエッジ支援車両パイプラインと統合され、潜在空間推論モジュールは協調的な意思決定を可能にする。BDD100KおよびnuScenes-QAでの実験により、LM-JEPAはLLMおよびVLMベースラインと比較して認識精度を5%向上させ、遅延を約7%削減し、シーン理解で最大25%、交差点成功率で20%、高速道路合流で改善、送信モデルパラメータで約15%削減を達成した。
- LM-JEPAは、カメラ・LiDAR・レーダー・地図データなど異種入力を統一潜在空間にエンコードする協調認識フレームワークを発表
- LLMおよびVLMベースラインと比較して認識精度を5%向上、遅延を約7%削減、送信モデルパラメータを約15%削減
- シーン理解で最大25%、交差点成功率で20%の改善を達成
自動運転車向けのエッジ側で動作する軽量な協調認識フレームワークであり、LLM/VLMベースラインに対する認識精度5%向上・遅延7%削減などの具体的な性能改善を示している点は注目に値する。自動運転の実用化にはエッジでのリソース制約下でのリアルタイム認識が不可欠であり、この領域の技術進展は自動運転スタートアップやセンサーフュージョン関連企業の競争力に直結する。