行動と言語条件付きビデオ評価による身体制御
Action- and Language-Conditioned Video Assessment for Embodied Control
多段階の自然言語指示を実行する視覚ベースの身体エージェントには、完全な軌跡にわたるタスクの進捗を評価するフィードバックメカニズムが必要です。最終フレームマッチングや連続埋め込み類似性に基づく従来の アプローチでは、指示が完了したかどうかを判断するために必要な中間遷移を見落とす可能性があります。本稿では、視覚的観測、実行された アクションシーケンス、および自然言語指示に条件付けられた軌跡評価者である ALVA (Action- and Language-Conditioned Video Assessment) を提案します。この 方法は、事前学習済みのビジョン言語モデル (VLM) を 2 段階で使用します。まず、実行されたアクションに条件付けられたフレーム 間の視覚的遷移を要約し、次に生成された要約を指示に対して評価して、離散的な軌跡レベルの進捗スコアを生成します。 シミュレートされた 3D 家庭環境において、ALVA は誤検出率がほぼゼロの保守的な評価パターンを示します。 閉ループポリシー最適化の終端フィードバックとして使用すると、評価された静止画像および埋め込みベースの 視覚的ベースラインよりも効果的なフィードバックを提供し、グラウンドトゥルースオラクルのパフォーマンスギャップを 縮小します。これらの結果は、評価されたシミュレートされた身体制御タスクの解釈可能なフィードバックメカニズムとして、 行動と言語条件付きビデオ評価を支持するものです。
- 行動と言語条件付きビデオ評価(ALVA)を提案。事前学習済みVLMを2段階で用い、視覚的観測・アクションシーケンス・自然言語指示に条件付けられた軌跡評価を行う。
- シミュレートされた3D家庭環境で、ALVAは誤検出率がほぼゼロの保守的な評価パターンを示し、閉ループポリシー最適化の終端フィードバックとして既存の静止画像・埋め込みベースの視覚ベースラインより効果的で、グラウンドトゥルースオラクルとの性能差を縮めた。
本稿は、視覚ベースの身体エージェントのタスク評価を改善するALVAという軌跡評価手法を提案しており、AIエージェントの評価基盤の発展を示す研究として注目に値する。特に、終端フィードバックとして既存の静止画像・埋め込みベース手法より効果的で、グラウンドトゥルースオラクルとの性能差を縮める点は、AIエージェントの実用化に向けた評価インフラの進展を示唆する。