DiMMPose: 効率的で堅牢な3D人体姿勢推定のためのマルチプロンプトを備えた拡散-マンバハイブリッドフレームワーク
DiMMPose: A Diffusion-Mamba Hybrid Framework with Multi-Prompt for Efficient and Robust 3D Human Pose Estimation
単眼3D人体姿勢推定(3D HPE)における既存手法の課題である、長距離のフレーム間・関節間の推論の効率性や、ノイズに対する感度を解決するため、拡散モデルとマンバのステートスペースモデルを組み合わせたDiMMPoseが提案された。DiMMPoseは、特徴抽出モジュールとして、双方向状態伝播と線形複雑性を持つ内部Pose Mambaコンポーネントを採用し、効率的に長距離のフレーム間・関節間の依存関係をモデル化するSpatiotemporal Mamba Block(STMB)を備える。さらに、LongCLIPによってエンコードされた構造化プロンプトと学習可能なプロンプト表現を組み合わせたMulti-Prompt Mamba Denoiser(MPMD)が、解剖学的および運動関連のガイダンスを提供する。DiMMPoseはHuman3.6Mデータセットで平均MPJPE 28.9 mmを達成し、FinePOSEと比較して3.0 mm改善し、推論レイテンシを57.1%削減した。また、MPI-INF-3DHPデータセットでは23.0 mmのMPJPEを達成した。
- DiMMPoseがHuman3.6Mデータセットで平均MPJPE 28.9 mmを達成し、従来のFinePOSEと比較して3.0 mmの精度改善を実現
- DiMMPoseが推論レイテンシを57.1%削減
- MPI-INF-3DHPデータセットで23.0 mmのMPJPEを達成
DiMMPoseは3D人体姿勢推定における精度と推論効率の両面で成果を示す研究であり、AIモデル開発の最先端動向を示す。特に推論レイテンシを57.1%削減しながら精度を改善した点は、エッジ/リアルタイム応用への実用化を意識した成果であり、AI応用分野の投資判断において注目に値する。ただし学術研究であり、即座の事業インパクトは限定的。