行動と言語条件付きビデオ評価による身体制御
- 行動と言語条件付きビデオ評価(ALVA)を提案。事前学習済みVLMを2段階で用い、視覚的観測・アクションシーケンス・自然言語指示に条件付けられた軌跡評価を行う。
- シミュレートされた3D家庭環境で、ALVAは誤検出率がほぼゼロの保守的な評価パターンを示し、閉ループポリシー最適化の終端フィードバックとして既存の静止画像・埋め込みベースの視覚ベースラインより効果的で、グラウンドトゥルースオラクルとの性能差を縮めた。
MSSensors · MDPI · CC BY 4.0
動画事前知識と動的シーングラフに基づく長期間ロボット操作のための適応的タスク計画
- ATP-VPDSGはLIBERO-10ベンチマークで平均タスク計画精度91.2%、タスク実行成功率74.67%を達成
- 産業用スライダー・レール組立タスクの実機実験で、タスク固有のファインチューニングなしに82.0%の成功率を達成しsim-to-real転移に成功
MSSensors · MDPI · CC BY 4.0
フローマッチングによるアフォーダンスベースのロボット操作
- ロボット操作向けフレームワークを提案。シーンのアフォーダンス理解のための大規模モデルを、学習可能なテキストプロンプトを固定ビジョンモデルに付加するパラメータ効率の良いプロンプトチューニングで適応させ、マルチタスクの空間的・意味的関係を考慮してアフォーダンスを予測する。
- ロボットの視覚運動ポリシーを、ランダムなウェイポイントから目的のロボットアクションへのフローとして表現するフローマッチング手法を提案。
- 10タスクからなる実世界データセットを評価用に導入。プロンプトチューニング手法はデータスケール全体で他のファインチューニングプロトコルと比較して競争力のある、あるいは上回る性能を達成し、パラメータ効率性も満たした。
FIFrontiers in Robotics and AI · CC BY 4.0
人間中心デジタルツインを用いた意図予測による応答性と説明可能なロボット支援のためのモジュラーフレームワーク
人間とロボットの協働(HRC)における先回りしたロボット支援のため、タスク文脈の認識、ユーザーのニーズ予測、ワークフローを妨げない適切な介入を可能にするシステムが必要とされている。本稿では、大規模言語モデル(LLM)の推論と標準運用手順(SOP)による根拠付けを、意図、動作、知覚、音響、アフォーダンス、パフォーマンスの専門化されたモジュラー層と組み合わせたAgentic Unified Robotic Assistance(AURA)フレームワークを提案する。このフレームワークは、再トレーニングや再プロンプトなしで再構成可能かつ監査可能であり、中央の意思決定モジュールに構造化されたコンテキス…
MSSensors · MDPI · CC BY 4.0
STAMP: ゼロショット連続ビジョン&言語ナビゲーションのための空間時間アンカー付きモーションプランニング
- STAMPフレームワークが発表され、VLN-CEベンチマークおよび実世界設定において最先端のゼロショット手法に匹敵する性能を達成した
MSSensors · MDPI · CC BY 4.0