モダリティ・ドロップアウト学習を備えた統一マルチモーダル潜在拡散フレームワーク
A unified multi-modal latent diffusion framework with modality-dropout training
本論文は、潜在拡散モデルにおけるマルチモーダル条件付けの2つの限界、すなわち、入力に関わらず固定されるアーキテクチャの重みによるガイダンスの再調整の不可能性と、推論時に一部のモダリティが利用できない場合の graceful degradation の欠如を解決する統一フレームワークを提案する。提案手法は、CLIPによるテキスト埋め込み、Cannyエッジ検出による構造境界マップ、セグメンテーションマスクによる領域レイアウトの3つのモダリティを統合する。コアコンポーネントとして、固定重みではなく学習可能な重要度スコアを用いるSoftmax-Normalized Adaptive Guidance Fusion (SNAGF) と、訓練時にランダムに一部のガイダンス表現をゼロにするModality-Dropout Training (MDT) を導入する。MDTは確率pdrop = 0.3で実行される。CIFAR-10での評価では、SNAGF+MDTフレームワークはSSIM 0.93、FID 17.2、PSNR 34.1 dB、CLIP Score 0.88、LPIPS 0.09、IS 10.4を達成した。MDT単独でも、部分条件付け推論構成で平均15.5%のFID改善が見られ、学習されたSNAGFの重みはλtext = 0.370、λedge = 0.363、λseg = 0.267に収束した。これらの結果は、適応的なモダリティ重み付けが固定戦略よりも優れており、MDTが部分条件付けに対するロバスト性メカニズムとして有効であることを示唆している。
- 潜在拡散モデルにおけるマルチモーダル条件付けの統一フレームワークを提案。固定アーキテクチャ重みによるガイダンス再調整不可という課題と、推論時に一部モダリティが利用できない場合のgraceful degradation欠如を解決すると主張
- CLIPによるテキスト埋め込み、Cannyエッジ検出による構造境界マップ、セグメンテーションマスクによる領域レイアウトの3モダリティを統合
- 固定重みではなく学習可能な重要度スコアを用いる Softmax-Normalized Adaptive Guidance Fusion (SNAGF) を導入
- 訓練時に確率 pdrop = 0.3 でランダムに一部のガイダンス表現をゼロにする Modality-Dropout Training (MDT) を導入
- CIFAR-10での評価で SSIM 0.93、FID 17.2、PSNR 34.1 dB、CLIP Score 0.88、LPIPS 0.09、IS 10.4 を達成
- MDT単独でも部分条件付け推論構成で平均15.5%のFID改善を確認、学習されたSNAGF重みは λtext=0.370、λedge=0.363、λseg=0.267 に収束
マルチモーダル拡散モデルは生成AIの主要な競争領域だが、本論文はアーキテクチャの固定重みではなく学習可能な重要度スコア(SNAGF)でモダリティ重みを適応化し、さらに学習時に確率的にガイダンスをゼロにするModality-Dropoutを導入することで部分条件付け推論へのロバスト性を高めた点が実務的価値を持つ。推論時に一部モダリティが欠けても平均15.5%のFID改善という数値は、入力の欠損が常態となる実運用(画像生成API、編集ツール、ロボティクス知覚など)での品質安定に直結しうる。ただし評価はCIFAR-10という小規模データセットに留まり、大規模基盤モデルへのスケール可否や商用パイプラインでの実証は未確認のため、投資判断としては研究シグナルの段階と見るのが妥当。学術論文であり企業の製品化・調達・規制の具体的事象は含まないため、直接の投資対象ではない。