物体中心の視覚的グラウンディングを統合した、EC倉庫ピッキングのためのフォビエイテッド拡散ポリシー
Object-grounded embodied picking for e-commerce warehouse fulfillment: a foveated diffusion policy for operational robustness
EC倉庫のピッキングは、密集した障害物、反射する包装、背景の変化に弱く、デモンストレーションから学習した視覚運動ポリシーの効果と堅牢性を損なう可能性がある。この問題に対処するため、物体中心の視覚的グラウンディングを拡散ベースのアクション生成に統合するフォビエイテッド拡散ポリシー(FDP)を提案する。FDPは、パノラマとフォビアのデュアルストリーム視覚エンコーダーを採用し、低解像度のパノラマストリームでグローバルなシーンコンテキストを捉え、検出ガイド付きフォビアストリームでROI Alignを使用して高解像度のオブジェクトトークンを抽出する。各デノイズステップで、これらのトークンはオブジェクトガイド付きクロスアテンションを介して拡散デノイザーに組み込まれ、アクション生成をターゲット固有の視覚的証拠にグラウンディングする。FDPは、6つのシミュレーションされた操作タスクを網羅する10のベンチマークデータセットで評価され、平均成功率はそれぞれ81.0%と76.8%を達成し、拡散ベースのベースラインを上回った。特に、Push-T (86.7 ± 2.5%) や Lift (100.0 ± 0.0%) などの物体中心タスクで強力なパフォーマンスを発揮した。フォビエイテッド条件付けは、平均成功率を非フォビエイテッドバリアントと比較して11.3パーセンテージポイント向上させることが示された。また、FDPは、検出ノイズに対する耐性を示す、重度の局所化摂動(σ = 10ピクセル)下でも84.0%の成功率を維持した。さらに、加速されたDDIMサンプリングにより、ポリシー推論レイテンシは約55ミリ秒に短縮され、クローズドループ制御の実現可能性をサポートする。これらの結果は、明示的な物体グラウンディングが、倉庫関連のシミュレーション操作シナリオにおける視覚運動ポリシーの堅牢性を向上させるための有望で計算上実用的なアプローチであることを示している。
- 提案手法FDPは、EC倉庫ピッキング向けに物体中心の視覚的グラウンディングを拡散ベースのアクション生成に統合し、6つのシミュレーション操作タスクを含む10ベンチマークで平均成功率81.0%を達成した。
- フォビエイテッド条件付けにより、非フォビエイテッドバリアントと比較して平均成功率が11.3パーセンテージポイント向上した。
- 重度の局所化摂動(σ=10ピクセル)下でも84.0%の成功率を維持し、検出ノイズに対する耐性を示した。
- 加速DDIMサンプリングによりポリシー推論レイテンシを約55ミリ秒に短縮し、クローズドループ制御が実現可能なことを示した。
EC倉庫ピッキングという実用性の高い応用領域で、拡散ポリシーに物体中心の視覚的グラウンディング(フォビエイテッドデュアルストリーム方式)を組み合わせることで、従来の拡散ベースベースラインを大幅に上回る成功率(+11.3pp)と検出ノイズ耐性を達成した点に注目。推論レイテンシ約55msと実用レベルの高速性も備えており、物流倉庫の自動化領域におけるロボットシステムの性能向上と導入拡大に直接寄与しうる研究である。