ビデオフレームからのヒューマノイドロボットのキーポイント推定のための検出誘導フレームワーク
Detection-Guided Keypoint Estimation for Humanoid Robots from Video Frames
本研究は、単眼RGBフレームからヒューマノイドロボットの全身2Dキーポイントを推定するための検出誘導フレームワークを提案する。まず、ロボット固有の検出器でターゲットを特定し、検出されたボックスを拡大・正規化して関心領域(ROI)とし、キーポイント推定を行う。この手法は、ResNet18による特徴抽出、CBAMによる精緻化、ヒートマップベースのキーポイント表現、DSNTによる連続座標デコーディング、骨格認識による正則化を統合している。13個のキーポイント(頭、肩、肘、手、腰、膝、足)を定義し、評価した結果、提案モデルは平均関節位置誤差(MPJPE)を27.98 pxから15.49 pxに、オブジェクトキーポイント類似度(OKS)を0.80から0.96に改善した。これは、ファインチューニングされたYOLOv8-Pose(18.85 px)やHRNet-W18(30.82 px)よりも優れた結果であり、COCO事前学習済みYOLOv8-Pose(201.50 px)を大幅に上回る。この結果は、限定的なデータ設定下での単眼ヒューマノイドロボットのキーポイント推定において、ロボット固有の局所空間モデリングと連続座標回復の効果を支持するものである。
- 単眼RGBフレームからヒューマノイドロボットの全身2Dキーポイントを推定する検出誘導フレームワークを提案し、ロボット固有検出器でROIを切り出してからキーポイント推定を行う構成を採る。
- ResNet18による特徴抽出、CBAMによる精緻化、ヒートマップベースのキーポイント表現、DSNTによる連続座標デコーディング、骨格認識による正則化を統合。
- 頭・肩・肘・手・腰・膝・足の13キーポイントを定義し、評価でMPJPEを27.98pxから15.49px、OKSを0.80から0.96へ改善した。
- ファインチューニング済みYOLOv8-Poseの18.85px、HRNet-W18の30.82pxを上回り、COCO事前学習済みYOLOv8-Poseの201.50pxを大幅に改善した。
- 限定的なデータ設定下での単眼ヒューマノイドロボットのキーポイント推定において、ロボット固有の局所空間モデリングと連続座標回復が有効であることを示した。
ヒューマノイドロボットの知覚・姿勢推定は、実機の制御や遠隔操作、動作データ収集の基盤技術であり、MPJPEを27.98px→15.49px、OKSを0.80→0.96へ改善した点は実用精度の閾値に近づいた可能性を示す。注目すべきはファインチューニング済みYOLOv8-PoseやHRNet-W18といった汎用モデルを上回ったことで、限定的なデータ条件下でもロボット特化型の局所空間モデリングが有効であることを示唆する。ヒューマノイド開発企業にとっては学習コストとデータ要件を下げる要素になり得るが、学術研究段階の単眼RGBキーポイント推定であり、即座の収益インパクトは乏しく、実機展開や商用利用の進展を待って評価すべき案件と考える。