IA-3DGS: 長期的な顔の詳細保持のためのIDアンカー型動的ガウシアン スプラッティング
IA-3DGS Identity-Anchored Dynamic Gaussian Splatting for Long-Term Facial Detail Preservation
長期間の顔アバターレンダリングにおいて、幾何学的なドリフトや同一性固有の詳細劣化を抑制するため、IA-3DGS(Identity-Anchored Dynamic Gaussian Splatting)が提案された。このフレームワークは、3Dモルファブルモデル誘導セマンティック初期化戦略、領域重み付きヤコビアン剛性正則化、および周期的なメモリ補正メカニズムの3つの主要コンポーネントから構成される。実験では、5000フレームを超える連続単眼顔シーケンスを含むカスタムデータセットで評価され、標準的なシーケンス長でPSNR 31.85 dB、SSIM 0.942、LPIPS 0.038を達成した。5000フレーム時点では、比較対象のベースライン手法(L-LPIPS 0.245、ランドマーク平均誤差 6.8 mm)に対し、L-LPIPS 0.046、ランドマーク平均誤差 1.3 mmという結果を得た。この手法は、単一のNVIDIA RTX 4090 GPU上で約48 FPSで1920×1080の画像をレンダリングできる。これらの結果は、提案されたセマンティック、ジオメトリック、および時間的制約が、評価された被写体固有の単眼設定下で、長シーケンスの同一性の一貫性を向上させることを示している。
- IA-3DGSは長期的な顔アバターレンダリングにおける幾何学的ドリフトと同一性固有の詳細劣化を抑制するため、3Dモルファブルモデル誘導セマンティック初期化戦略、領域重み付きヤコビアン剛性正則化、周期的メモリ補正メカニズムの3要素で構成される。
- 5000フレームの長シーケンス評価で、比較対象ベースライン(L-LPIPS 0.245、ランドマーク平均誤差6.8mm)に対しL-LPIPS 0.046、ランドマーク平均誤差1.3mmを達成した。
- 単一のNVIDIA RTX 4090 GPU上で1920×1080画像を約48FPSでレンダリング可能。
本手法は顔アバターレンダリングにおける長期的な同一性維持という課題を解決するもので、デジタルヒューマンやメタバース関連の応用が期待される。特に5000フレームという長シーケンスでの性能劣化を大幅に改善(L-LPIPS 0.245→0.046、ランドマーク平均誤差6.8mm→1.3mm)しており、リアルタイム(48 FPS)で高品質な顔レンダリングが可能な点は、VR/ARやゲーム、映像制作分野での商用応用価値が高い。ただし学術研究段階であり、投資判断への直接的な影響は限定的。