非同期RGB-LWIRビデオのソフトウェアのみによるレジストレーションとクロススペクトル分類:コンベアベースの廃棄物選別用マルチセンサーベンチマーク
Software-Only Registration and Cross-Spectral Classification of Unsynchronized RGB–LWIR Video: A Multisensor Benchmark for Conveyor-Based Waste Sorting
本研究では、実用的な廃棄物選別におけるマルチセンサー認識の重要性に着目し、ハードウェア同期に依存しない低コストセンサー構成のためのパイロットスケールマルチセンサー廃棄物選別テストベッドを開発した。このテストベッドは、非同期RGBカメラと長波赤外線(LWIR)カメラを組み合わせ、連続移動するコンベア上の物体分類を行う。同期なしでのフュージョンを可能にするため、SuperPoint-SuperGlueマッチングと適応型スライディングウィンドウ戦略を組み合わせた完全ソフトウェアベースのレジストレーションパイプラインを開発した。このパイプラインは、281,439のフレームペアにおいて、平均空間位置合わせ誤差2.27ピクセルを達成し、試行されたフレームペアの99.98%をマッチングさせた。物体検出・セグメンテーションにはMask R-CNNを使用し、コンベア上で追跡後、凍結されたDINOv2自己教師ありVision Transformer(ViT-L/14)特徴量と軽量多層パーセプトロンヘッドを用いて各トラックレットを分類した。RGBとLWIRの表現は late fusion により統合された。550のトラックレットに対するクロスバリデーションでは、フュージョンパイプラインはマクロF1スコア0.924を達成し、RGB単体(0.886)およびLWIR単体(0.856)を上回った。さらに、351のトラックレットからなる混合クラスのテストセットでは、マクロF1スコア0.947を達成した。これらの結果は、同期ハードウェアなしでも正確なRGB-LWIR物体分類が可能であることを示し、ThermalRGBTrashデータセットを今後の実用的なマルチセンサー認識研究のためのベンチマークとして確立するものである。
- 非同期RGB-LWIRカメラによる廃棄物選別用マルチセンサーテストベッドを開発し、ソフトウェアのみのレジストレーションで平均空間位置合わせ誤差2.27ピクセル、フレームペアの99.98%のマッチングを達成した。
- RGB-LWIRフュージョンパイプラインは550トラックレットでマクロF1スコア0.924、混合クラステストセット351トラックレットでマクロF1スコア0.947を達成し、RGB単体(0.886)およびLWIR単体(0.856)を上回った。
- ThermalRGBTrashデータセットをマルチセンサー認識研究のベンチマークとして公開した。
廃棄物選別分野におけるマルチセンサー認識技術の進展は、産業用ロボット・自動選別システムのコスト削減と精度向上に直結する。ハードウェア同期を不要とするソフトウェアのみのレジストレーションにより、低コストなセンサー構成での高性能分類(マクロF1 0.947)を実証した点は、産業オートメーション分野のスタートアップや設備投資判断に関わる重要な技術的マイルストーンである。