リアルタイム運動認識と動作品質評価のための適応型IMU-ビジュアルマルチモーダル融合システム
An Adaptive IMU–Visual Multimodal Fusion System for Real-Time Exercise Recognition and Movement Quality Assessment
本研究では、視点変化や自己遮蔽下での運動認識と動作品質評価の課題に対し、9軸慣性計測ユニット(IMU)とビジョンベースの姿勢推定を組み合わせたデュアルストリームプロトタイプを提案する。1DCNN-LSTMブランチが慣性ダイナミクスをモデル化し、カスタムキーポイントテンポラルブランチが正規化された姿勢シーケンスをモデル化し、信頼性ゲート付きルールが視覚キーポイントの信頼性に応じてそれらの寄与を調整する。公開されている同期マルチビューIMU-ビジョン運動データセットが存在しないため、10人の参加者、3つの運動、900の繰り返しレベルサンプルからなるIMV-Exerciseデータセットを構築した。システムは、Leave-One-Subject-Out交差検証で96.0%の運動認識精度を達成した。後方視での評価では、融合出力は91.2%のアクションウィンドウ精度を達成した。50回のオンライントライアルでは、認識精度は96.0%、平均エンドツーエンド遅延は195ms、最大遅延は210ms未満であった。
- 9軸IMUとビジョン姿勢推定を組み合わせたデュアルストリームシステムを提案。1DCNN-LSTMブランチが慣性ダイナミクス、カスタムキーポイントテンポラルブランチが正規化姿勢シーケンスをモデル化し、信頼性ゲート付きルールで視覚キーポイントの信頼性に応じて寄与を調整する。
- 公開の同期マルチビューIMU-ビジョン運動データセットが存在しないため、10人の参加者・3つの運動・900の繰り返しレベルサンプルからなるIMV-Exerciseデータセットを自ら構築した。
- Leave-One-Subject-Out交差検証で運動認識精度96.0%を達成し、後方視評価では融合出力がアクションウィンドウ精度91.2%を記録した。
- 50回のオンライントライアルで認識精度96.0%、平均エンドツーエンド遅延195ms、最大遅延210ms未満を確認した。
IMUとビジョンを融合したデュアルストリーム構成で運動認識96.0%、エンドツーエンド遅延195msという数値は、ウェアラブル/フィットネス分野におけるリアルタイム動作評価AIの実用水準に近づいたことを示す。視点変化や自己遮蔽という実運用で最も問題になる条件下での精度と遅延を公開データで示した点は、XR・スポーツテック・遠隔リハビリ・ロボティクス遠隔操作などへの応用を検討する投資家にとって評価軸になる。一方、IMV-Exerciseデータセットは10人・3運動・900サンプルと小規模で、被験者数と運動種目の拡張、および他データセットでの再現性が実用化の鍵となるため、この点が今後の検証課題として注目される。