弱信号回復学習:全天候型RGB-T物体検出のための2段階グラフベースフレームワーク
Learning to recover weak signals: A two-stage graph-based framework for all-weather RGB-T object detection
複雑な交通環境における物体検出の課題に対処するため、RGBと熱画像の特徴を統合する2段階のマルチモーダル検出フレームワークが提案された。第1段階では、Dual-Path Attention Fusion Module (DPAFM) が学習可能なゲート付きアテンションによりRGBと熱特徴を適応的に統合し、モダリティ固有の劣化を軽減する。第2段階では、Hierarchical Attention Graph Neural Network (HA-GNN) が検出候補をグラフノードとしてモデル化し、外観と空間関係に関する階層的な関係推論を実行して、弱まった局所的な手がかりを補う。KAISTおよびR-LiViTデータセットでの実験により、提案手法は昼夜シナリオ全体でロバスト性を大幅に向上させ、昼夜のパフォーマンスギャップを72.4%から7.4%に縮小し、小型オブジェクトの検出を大幅に強化することが示された。さらに、この手法は27.4 FPSのリアルタイム推論速度を達成し、自動運転知覚における精度と効率のトレードオフを提供する。コードは https://github.com/yangjiepry/YOLO-HA-GNN.git で利用可能。
- RGBと熱画像を統合する2段階マルチモーダル検出フレームワーク(YOLO-HA-GNN)が提案され、自動運転の物体検出において昼夜のパフォーマンスギャップを72.4%から7.4%に縮小した
- 提案手法は27.4 FPSのリアルタイム推論速度を達成し、自動運転知覚における精度と効率のトレードオフを実現した
- コードがGitHub (https://github.com/yangjiepry/YOLO-HA-GNN.git) で公開された
自動運転の物体検出精度向上に寄与するマルチモーダル処理技術で、昼夜の性能ギャップを72.4%から7.4%にまで縮小した点は、自動運転の実用化における重要な障害(夜間・悪天候時の検出精度低下)を解決する可能性を示している。リアルタイム推論(27.4 FPS)を維持しながら精度を高めた点も、車載エッジ環境での実装可能性の観点で投資判断上有意義。ただし学術研究段階であり、商用化や企業との提携等の具体的な事業イベントは現時点で確認できない。