MuralsNet:BiFormerとGLM融合に基づく敦煌装飾壁画画像修復
MuralsNet: Dunhuang Decorative Mural Image Inpainting Based on BiFormer and GLM Fusion
敦煌壁画の装飾パターンは歴史的・文化的価値が高いが、経年劣化により損傷を受けている。既存の修復手法は、長距離構造依存性のモデリング不足、局所テクスチャの不整合、グローバルな一貫性の弱さといった課題を抱えている。本論文では、敦煌装飾壁画の構造的特性に適応させたEdgeConnectベースのインペインティングフレームワークであるMuralsNetを提案する。EdgeConnectの2段階戦略(G1、G2)を維持し、明示的なエッジガイダンスを提供する。G2画像補完ネットワークには2つの改良を加えた。まず、BiFormerをG2 U-Netのボトルネック段階に組み込み、二段階ルーティングアテンション機構によりグローバルな文脈情報と長距離依存性を捉える。次に、デコーダー段階にグローバル・ローカル融合モジュール(GLM)を構築し、高レベル意味特徴と局所詳細特徴の効果的な融合を促進し、損傷領域の構造的一貫性とテクスチャ修復を向上させる。実験の結果、MuralsNetは評価された手法の中で最高のPSNR、SSIM、Masked Edge F1を達成し、LPIPSは最も低かった。視覚比較では、MuralsNetが代表的な例において、細かい装飾輪郭と局所構造の詳細をより良く保持することが示された。アブレーション実験により、BiFormerとGLMが提案フレームワーク内で相補的な改善をもたらすことが示された。
- 敦煌装飾壁画の劣化修復に向け、EdgeConnectベースのインペインティングフレームワーク「MuralsNet」を提案(G1/G2の2段階戦略とエッジガイダンスを維持)。
- G2 U-NetのボトルネックにBiFormerを組み込み、二段階ルーティングアテンションでグローバル文脈と長距離依存性を捕捉。
- デコーダー段階にグローバル・ローカル融合モジュール(GLM)を構築し、高レベル意味特徴と局所詳細特徴を融合。
- 実験でPSNR・SSIM・Masked Edge F1が評価手法中最高、LPIPSは最小を達成し、アブレーションでBiFormerとGLMの相補的効果を確認。
敦煌壁画という文化遺産の画像修復にAIインペインティング(EdgeConnect+BiFormer+GLM)を適用した学術研究で、PSNR/SSIM/Masked Edge F1/LPIPSで比較手法を上回った点は技術進歩として注目される。ただし商業化・調達・規制といった投資判断に直結する事象はなく、応用先も文化財保存という非営利領域が中心。同手法の汎用性(一般画像・製造検査・医療画像などへの横展開)が示された場合に初めて投資テーマ化しうる、という見立てで注視したい。