HADD: 階層性を考慮した分離型拡散モデルによる3D人体姿勢推定のための時空間的ノイズ除去フレームワーク
HADD: A hierarchy-aware disentangled diffusion framework with spatio-temporal denoising for 3D human pose estimation
単眼3D人体姿勢推定(3D HPE)は、VR/AR、没入型ヒューマンコンピュータインタラクション、デジタルヒューマンアニメーション、スポーツモーションキャプチャ、運動技術診断、体力評価、スポーツリハビリテーショントレーニングなどの応用において重要な技術的サポートを提供するコンピュータビジョンの中核タスクである。既存の手法は、拡散ベースの手法が拡散プロセスで明示的な人体の解剖学的事前制約を欠くこと、分離ベースの手法が骨格運動ツリーに沿った階層的なエラー蓄積に苦しむこと、そしてほとんどの手法が人間の骨格のきめ細かな階層的な時空間相関を十分に活用できず、高階層の関節での推定誤差が増加するという3つの主要な限界に直面している。これらの課題に対処するため、本研究では、分離戦略と拡散モデルを深く統合し、骨格の階層情報を拡散パイプライン全体に埋め込む、新しい階層性を考慮した分離型拡散モデルによる時空間的ノイズ除去(HADD)フレームワークを提案する。前方拡散プロセスでは、HADDは3D姿勢を骨の長さと骨の方向の特徴に分離し、2つの特徴に個別にガウスノイズを注入する。逆ノイズ除去プロセスでは、階層的な空間および時間的ノイズ除去(HSTD)モジュールを設計し、人間の骨格の階層的な時空間関係を正確にモデル化し、高階層関節のエラー増幅を軽減する。同時に、3D分離損失と3D姿勢損失を組み合わせたハイブリッド損失関数を構築し、骨と関節のレベルで二重の監視を実現する。Human3.6MおよびMPI-INF-3DHPデータセットでの広範な実験により、HADDは最先端の手法と比較して一貫したパフォーマンスの向上を達成することが示された。Human3.6Mでは、従来の分離ベースの手法と比較して平均MPJPEを最大12.9%削減し、軽量な推論構成下で主流の拡散ベースの確率的手法を上回った。MPI-INF-3DHPでは、HADDは単一仮説推論下でMPJPE 29.2 mm、PCK 98.5%、AUC 78.1を達成し、グラウンドトゥルースの2D関節シーケンスのみを入力として、単一仮説推論設定下でこのデータセットにおける新たな最先端パフォーマンスを達成した。本研究は、既存の3D HPE手法のコアな限界に対する効果的な解決策を提供し、スポーツトレーニングおよびリハビリテーションシナリオにおけるきめ細かな運動分析および定量的評価のための信頼性の高い技術サポートを提供する。
- 階層性を考慮した分離型拡散モデルによる時空間的ノイズ除去(HADD)フレームワークを提案し、骨格の階層情報を拡散パイプライン全体に埋め込むことで、分離ベース手法の階層的な誤差蓄積と拡散ベース手法の解剖学的事前制約欠如を同時に解決しようとしている。
- Forward拡散で3D姿勢を骨の長さと骨の方向に分離し、逆拡散で階層的な空間・時間ノイズ除去(HSTD)モジュールを設計、3D分離損失と3D姿勢損失を組み合わせたハイブリッド損失関数で骨と関節の二重監視を実現した。
- Human3.6Mで従来の分離ベース手法比で平均MPJPEを最大12.9%削減し、軽量推論構成下で主流の拡散ベース確率的手法を上回った。
- MPI-INF-3DHPで単一仮説推論下にMPJPE 29.2mm、PCK 98.5%、AUC 78.1を達成し、グラウンドトゥルースの2D関節シーケンスのみを入力とする条件で新たなSOTAを記録した。
学術研究段階の3D人体姿勢推定手法であり、直接的・短期的な投資対象は見当たらない。ただし、単眼カメラ1台で骨格の階層構造を扱う拡散モデルと分離表現を統合し、Human3.6MやMPI-INF-3DHPでMPJPE 29.2mmなど新たなSOTAを主張している点は、VR/AR・デジタルヒューマン・スポーツ解析・リハビリ評価といった応用領域の精度向上を通じて、産業ロボ・モーションキャプチャ・ヘルスケア関連企業の中長期の競争力に影響し得る。研究機関発の成果であり、実用化は今後の製品化・ライセンス動向を確認したい。