Pollen Robotics、ロボティクス向けゼロショット汎用ビジョンモデルインターフェース「Pollen-Vision」を公開
Pollen-Vision: Unified interface for Zero-Shot vision models in robotics
Pollen Roboticsは、オープンソースのヒューマノイドロボット「Reachy」の開発チームとして、ロボットの自律性を高めるための第一歩となるオープンソースライブラリ「Pollen-Vision」を公開しました。このライブラリは、ロボティクスへの直接的な応用を目的としたゼロショットビジョンモデルのコレクションであり、トレーニング不要で即座に使用可能です。主な機能は3D物体検出で、物体を3D空間内の位置(x, y, z座標)として特定し、ロボットによる把持などのタスクの基盤となります。初期リリースには、Google ResearchのOWL-VIT(テキスト条件付き2D物体局在化)、Meta AIのMobile SAM(ゼロショット画像セグメンテーション)、OPPO Research InstituteのRAM(ゼロショット画像タグ付け)が含まれます。OWL-VITは、プロンプト数に応じて推論時間が変動するため、RAMと連携して検出対象を絞ることで効率化を図ります。セグメンテーションマスクを利用して物体のピクセル座標を算出し、カメラの内部パラメータ(K)を用いて3D空間内のメートル単位での位置を推定します。これにより、ロボットのグリッパーを物体の位置に移動させて把持することが可能になります。今後の課題として、OWL-VITの検出の一貫性向上、時間的・空間的整合性の導入、6D姿勢推定や把持技術の改善、全体的な速度向上が挙げられています。
- Pollen Roboticsがロボティクス向けゼロショット汎用ビジョンモデルインターフェース「Pollen-Vision」をオープンソース公開
Pollen Roboticsが、ロボットの3D物体検出・把持をトレーニング不要で実現するPollen-Visionをオープンソース公開した点は注目に値する。Google ResearchやMeta AI、OPPO Research Instituteの最先端ビジョンモデルを統合し、ロボットのゼロショット汎用認識を実用レベルに引き上げようとする試みであり、ヒューマノイドロボット「Reachy」の自律性向上に直結する。ロボティクス分野では「認識→把持」のパイプラインを簡素化するミドルウェア的価値が高く、今後の6D姿勢推定や速度改善が進めば、産業・サービスロボットの導入障壁を大きく下げる可能性がある。