完全自動化された石炭採掘現場における油圧支保工姿勢推定とカッター干渉警告のためのマルチソース視覚融合
Multi-Source Visual Fusion for Face-Guard Pose Estimation and Shearer Cutting-Interference Warning in Fully Mechanized Coal Mining Faces
完全自動化された石炭採掘現場では、粉塵、霧、低照度環境下で油圧支保工の姿勢とカッタードラムへのクリアランスを正確に把握する必要がある。本論文では、RGBカメラ、赤外線カメラ、32ラインLiDARを統合したマルチソース視覚融合フレームワークを提案する。このシステムは、モダリティ固有のノイズ除去、歪み補正、時間同期、空間登録、適応的特徴融合を行い、顔ガードの2Dボックス、3Dキーポイント、6DoF姿勢を推定する。RGBと赤外線の特徴はSwin Transformerバックボーンで抽出され、LiDARの特徴はBEV空間でエンコードされ、融合された表現は軸方向クロスモーダル融合ブロックで洗練される。復元された姿勢は3Dエンベロープに変換され、カッタードラムまでの最小距離は4段階の警告ポリシーにマッピングされる。シミュレーションされた完全自動化採掘現場から取得した2400フレームの同期マルチモーダルデータを用いた実験では、トリモーダル検出で98.5%のmAP@0.5、約10Hzの統合リフレッシュレート、3Dキーポイント局在化MAE 1.40cm、粉塵・霧複合撹乱下での最大環境条件クリアランス誤差2.2cmを達成した。これらの結果は、提案手法がインテリジェント鉱山の分野で応用価値を持つことを示している。
- RGBカメラ、赤外線カメラ、32ラインLiDARを統合し、モダリティ固有ノイズ除去・歪み補正・時間同期・空間登録・適応的特徴融合を行うマルチソース視覚融合フレームワークを提案。完全自動化石炭採掘現場での油圧支保工の6DoF姿勢推定とカッタードラム干渉警告を目的とする。
- RGB・赤外線特徴はSwin Transformerバックボーンで抽出、LiDAR特徴はBEV空間でエンコードし、軸方向クロスモーダル融合ブロックで融合表現を洗練。復元姿勢を3Dエンベロープ化し、カッタードラムまでの最小距離を4段階警告ポリシーにマッピングする。
- シミュレーションされた完全自動化採掘現場の同期マルチモーダルデータ2400フレームで、トリモーダル検出98.5% mAP@0.5、約10Hzの統合リフレッシュレート、3Dキーポイント局在化MAE 1.40cm、粉塵・霧複合撹乱下で最大環境条件クリアランス誤差2.2cmを達成。
石炭採掘という古典的産業に、RGB・赤外線・LiDARを統合したマルチモーダル視覚融合AIを適用した研究。トリモーダル検出98.5% mAP、3Dキーポイント誤差1.40cmという数値は、粉塵・霧・低照度という劣悪環境下でのロバストな3D知覚の実用水準を示しており、同一のセンサー融合・クロスモーダル融合技術は鉱山機械の自動化・遠隔操作だけでなく、建設・物流・屋外産業ロボティクス全般に転用可能。ハードウェア構成が汎用カメラ+LiDARである点は量産・コスト面で追い風。ただし現段階はシミュレーションデータ2400フレームでの検証に留まり、実現場での検証と商用化主体が未確定なため、投資テーマとしては「産業用3D知覚・自動化」領域の技術進展として注視する段階。