DPTG: 触覚的実現可能性ガイダンスによる拡散ポリシー

Dexterous in-hand manipulation(器用な手による物体操作)において、ロボットハンドは頻繁な隠蔽、接触が多い相互作用、高速なダイナミクス下で物体状態を確実に推定する必要がある。触覚センシングは高周波で接触特異的なフィードバックを提供するが、生の触覚信号から有用な表現を抽出し、それを視覚や固有受容感覚と統合することは依然として困難である。本稿では、触覚信号を時空間グラフとして明示的にモデル化するマルチモーダルな器用な操作フレームワーク「TouchWGNN」を提案する。まず、5本指のロボットハンド用に低コストの分散型触覚センサーアレイを開発し、主要な接触領域に分散した1…

• 指関節のソフト容量性伸縮センサーと手のひらの6要素疎圧力アレイを融合した最小限マルチモーダル触覚システムを開発
• 軽量MLPを用いて4つの幾何学的原始形状を表す12個の剛体オブジェクトに対して95.4%のサイズ不変認識精度を達成し、高密度ベースラインを上回った
• ANOVAベースのチャネル選択により情報量の少ない中手指節間関節の信号を除去し、指関節センサー数を削減しながら分類精度を向上

• ロボット操作向けフレームワークを提案。シーンのアフォーダンス理解のための大規模モデルを、学習可能なテキストプロンプトを固定ビジョンモデルに付加するパラメータ効率の良いプロンプトチューニングで適応させ、マルチタスクの空間的・意味的関係を考慮してアフォーダンスを予測する。
• ロボットの視覚運動ポリシーを、ランダムなウェイポイントから目的のロボットアクションへのフローとして表現するフローマッチング手法を提案。
• 10タスクからなる実世界データセットを評価用に導入。プロンプトチューニング手法はデータスケール全体で他のファインチューニングプロトコルと比較して競争力のある、あるいは上回る性能を達成し、パラメータ効率性も満たした。

• Risk-PERと呼ばれるリスクを考慮した経験再生手法を提案し、DDPGと統合してAllegro Handの手内操作タスクで評価
• 提案手法はHERや報酬-ペナルティベースのリスク回避手法と比較して、高い成功率、低い操作リスク、安定した学習動作を達成

本調査は、ロボット操作におけるセンサーモダリティ選択、異種信号の整合と融合、およびそれらのアクション生成との関連性に焦点を当て、ビジョン・言語・アクション(VLA)モデルをセンサー・融合・アクションのパイプラインとして再解釈する。RGB、深度、触覚、力/トルク、固有受容性、慣性計測ユニット、マルチスペクトル/熱、イベントベースビジョンなどの主要なセンサーモダリティの分類、それらが提供する物理情報、故障モード、デプロイメント制約を比較する。また、テレオペレーション、人間のビデオ、シミュレーションベースのデータ収集パイプライン、および代表的なデータセット構成をレビューし、早期・後期融合、クロスア…