CVIGAN: ConvNeXtV2マルチスケール周波数認識アテンションを備えたコントラスティブ可視-赤外線生成敵対的ネットワーク
CVIGAN: Contrastive Visible-to-Infrared Generative Adversarial Network with ConvNeXtV2 Multi-Scale Frequency-Aware Attention
既存の教師なし可視-赤外線画像生成手法は、妥当なターゲット熱外観の生成に苦労しており、構造的詳細の一貫性を保つことが困難である。この課題に対処するため、本論文ではCVIGAN(Contrastive Visible-to-Infrared Generative Adversarial Network with ConvNeXtV2 Multi-Scale Frequency-Aware Attention)を提案する。具体的には、ConvNeXtV2をジェネレータのエンコーダとして利用し、マルチスケール周波数認識アテンション特徴量強化ブロック(MFEB)を統合して特徴表現能力を向上させる。さらに、マルチスケールディスクリミネータを設計し、ターゲットドメイン画像の局所的な詳細と全体的な構造情報を同時に捉える。最後に、マルチレイヤーコントラスティブ損失、単方向サイクル整合性損失、同一性損失、最小二乗敵対的損失を組み合わせた複合損失関数を定式化し、ドメイン間特徴量の整合性を強制し、生成された出力の品質を制限する。提案手法の有効性は、ペアになっていないAVIID3、M3FD、および独自構築のデータセットでの実験により検証され、生成された赤外線画像は画像品質が著しく向上した。さらに、CVIGANの堅牢性は、クロスシーンおよびクロス解像度の汎化実験によって検証され、未知のシーンや高解像度の入力条件下でも良好な性能を維持した。これにより、生成された赤外線画像は下流の赤外線物体検出タスクを効果的に強化することが検証され、実世界のアプリケーションにおける赤外線画像取得と分析のためのより効率的なソリューションを提供する。
- CVIGAN(Contrastive Visible-to-Infrared GAN with ConvNeXtV2 Multi-Scale Frequency-Aware Attention)を提案。ConvNeXtV2を生成器エンコーダに採用し、マルチスケール周波数認識アテンション特徴強調ブロック(MFEB)を統合して特徴表現力を高める。
- マルチスケール識別器を設計し、対象ドメイン画像の局所詳細と全体構造を同時に捉える。またマルチレイヤーコントラスティブ損失・単方向サイクル整合性損失・同一性損失・最小二乗敵対的損失を組み合わせた複合損失関数を定式化した。
- 未ペアのAVIID3、M3FD、独自構築データセットでの実験で生成赤外線画像の画質が顕著に向上し、クロスシーン・クロス解像度の汎化実験でも未知シーンや高解像度入力に対し良好な性能を維持した。
- 生成した赤外線画像が下流の赤外線物体検出タスクを効果的に強化することを検証し、実世界の赤外線画像取得・分析の効率化に資するソリューションとして提示した。
可視光画像から赤外線画像を生成する研究は、監視・防衛・自動運転の夜間センシングに直結し、赤外線データ取得コストを下げる意味で産業価値が高い。CVIGANはConvNeXtV2エンコーダとマルチスケール周波数認識アテンション、複合損失(コントラスティブ+サイクル整合性+同一性+LSGAN)を組み合わせ、未ペアのAVIID3・M3FD・独自データセットで品質向上とクロスシーン/クロス解像度の汎化を確認、下流の赤外線物体検出も改善した点が実用性の裏付けになる。ただし現時点では論文段階の手法提案であり、商用製品化や企業の収益に直結する発表ではないため、投資判断としては赤外線センシング/生成AI領域の技術トレンド指標として注視する位置づけと考える。