フローマッチングによるアフォーダンスベースのロボット操作
Affordance-based robot manipulation with flow matching
本研究では、ロボット操作を支援するフレームワークを提案する。このフレームワークは、シーンのアフォーダンス理解のための大規模モデルの効率的な適応と、視覚的アフォーダンスを基盤としたロボットアクションの効果的な学習という2つの課題に取り組む。最初の課題に対しては、学習可能なテキストプロンプトを固定されたビジョンモデルに付加するパラメータ効率の良いプロンプトチューニング手法を採用し、マルチタスクシナリオにおける空間的・意味的関係性を考慮してアフォーダンスを予測する。2番目の課題に対しては、ロボットの視覚運動ポリシーを、ランダムなウェイポイントから目的のロボットアクションへのフローとして表現するフローマッチング手法を提案する。評価のために10タスクからなる実世界のデータセットを導入した。実験の結果、プロンプトチューニング手法は、データスケール全体で他のファインチューニングプロトコルと比較して競争力のある、あるいはそれを上回る性能を達成し、パラメータ効率性も満たしていることが示された。さらに、フローマッチングは拡散ポリシーと比較して、より安定したトレーニングと高速な推論を実現し、具体的には1ステップのフローマッチングは16ステップのDDIMと同等の精度を達成しながら、推論時間を約85%削減した。このフレームワークは、高レベルのパラメータ効率の良いアフォーダンス表現学習と低レベルのフローマッチングポリシーをシームレスに統合し、明示的なアフォーダンスがフローベースポリシーの効果的な空間的グラウンディングとしてどのように機能するかを示している。
- ロボット操作向けフレームワークを提案。シーンのアフォーダンス理解のための大規模モデルを、学習可能なテキストプロンプトを固定ビジョンモデルに付加するパラメータ効率の良いプロンプトチューニングで適応させ、マルチタスクの空間的・意味的関係を考慮してアフォーダンスを予測する。
- ロボットの視覚運動ポリシーを、ランダムなウェイポイントから目的のロボットアクションへのフローとして表現するフローマッチング手法を提案。
- 10タスクからなる実世界データセットを評価用に導入。プロンプトチューニング手法はデータスケール全体で他のファインチューニングプロトコルと比較して競争力のある、あるいは上回る性能を達成し、パラメータ効率性も満たした。
- フローマッチングは拡散ポリシーと比較してより安定したトレーニングと高速な推論を実現し、1ステップのフローマッチングが16ステップのDDIMと同等の精度を達成しながら推論時間を約85%削減した。
実世界10タスクのデータセットで、パラメータ効率の良いプロンプトチューニングとフローマッチングを統合したロボット操作フレームワークを検証し、フローマッチングが拡散ポリシー比で推論時間を約85%削減しつつ16ステップDDIMと同等精度を達成した点が重要。ロボット基盤モデル/ポリシーの推論コストと学習安定性は実運用の成否を左右する要素であり、アフォーダンス表現学習の低コスト化とフローベースポリシーの高速化はヒューマノイド・産業ロボの実装競争における差別化要因になり得る。ただし現時点では研究段階の成果であり、商用化・採用動向の確認が次の投資判断ポイントになる。