赤外線・可視画像融合のためのエッジ認識型動的畳み込みおよびクロスモーダル関係認識型融合ネットワーク
Edge-Aware Dynamic Convolution and Cross-Modal Relation-Aware Fusion Network for Infrared and Visible Image Fusion
赤外線・可視画像融合は、2つのモダリティからの相補的な熱および構造情報を単一の合成画像に組み合わせる。既存の手法には、(1) 可視構造情報の利用不足によるエッジのぼやけ、(2) 融合重み学習時にモダリティ固有および共有応答が常に別々に表現されない、という2つの重要な限界がある。これらの問題に対処するため、可視構造の詳細を最大限に活用し、相補的な情報を明示的にモデル化するエッジ認識型動的畳み込みおよびクロスモーダル関係認識型融合ネットワークが提案された。具体的には、エッジ認識型動的畳み込みは、可視画像からエッジ特徴を抽出し、融合中にエッジの詳細を適応的に強化する動的畳み込みカーネルを生成するように設計されている。次に、クロスモーダル関係認識型適応融合モジュールは、赤外線および可視特徴の差分および相互作用特徴を明示的に計算し、モダリティ固有の情報をバランスさせるための適応的融合重みを予測するように設計されている。さらに、相補性整合性損失が導入され、強度、エッジ、および相補的な情報を共同で制約する。いくつかの公開データセットでの実験により、提案手法がより優れた視覚的品質と定量的性能を提供することが示されている。
- 赤外線・可視画像融合の2つの限界(可視構造情報の利用不足によるエッジぼやけ、モダリティ固有/共有応答が分離表現されない融合重み学習)に対処する、エッジ認識型動的畳み込みおよびクロスモーダル関係認識型融合ネットワークが提案された。
- エッジ認識型動的畳み込みは可視画像からエッジ特徴を抽出し、融合中にエッジ詳細を適応的に強化する動的畳み込みカーネルを生成する。
- クロスモーダル関係認識型適応融合モジュールは、赤外線・可視特徴の差分および相互作用特徴を明示的に計算し、モダリティ固有情報をバランスさせる適応的融合重みを予測する。
- 強度・エッジ・相補的情報を共同で制約する相補性整合性損失が導入され、複数の公開データセットでの実験でより優れた視覚的品質と定量的性能が示された。
赤外線・可視画像融合という画像処理タスク向けの新しいニューラルネットワーク設計の学術論文であり、企業の発表や製品化、調達の事実は含まれない。ただしエッジ認識型動的畳み込みとクロスモーダル関係認識型融合という設計は、監視カメラ・ADAS・ロボット知覚などマルチモーダル知覚を手掛ける企業の競争力に直結し得る技術要素であり、引用動向や特許・製品への実装状況を追う価値がある。