TerrainFormer: オフロード自律走行のための世界モデル誘導型意思決定トランスフォーマー

未舗装のオフロード環境における自律走行は、地形の不均一性、道路標識の欠如、生のセンサー観測からのリアルタイム走行可能性推論の必要性から、根本的な課題を抱えている。本研究では、地形ダイナミクス予測のための世界モデルと、行動選択のための時間的決定トランスフォーマーを統合した階層型フレームワーク「TerrainFormer」を提案する。この手法は、LiDAR点群を用いた自己教師あり世界モデル事前学習(走行可能性、標高、意味セグメンテーションを含む地形表現学習)と、凍結された世界モデル特徴量と時間的に導出された目標方向条件下の決定トランスフォーマーの行動クローニングという2段階のトレーニングパラダイムを採用する。世界モデルは、PointPillarsエンコーダーを介して生の3D LiDAR点群を処理し、リアルタイムの鳥瞰図(BEV)投影を行った後、Vision Transformerバックボーンが潜在地形表現を生成する。主な貢献は、クロスデータセット汎化パラダイムであり、世界モデルと決定トランスフォーマーはそれぞれ異なるデータセットとシーケンスでトレーニングされ、トレーニング段階間にデータ重複がないことを保証する。車両姿勢軌跡からの自動目標方向計算を導入し、モデルが方向条件付きナビゲーションポリシーを学習できるようにする。オフロード走行データに固有のクラス不均衡に対処するため、焦点損失と逆頻度クラス重み付け、およびアクションチャンク監視を使用する。RELLIS-3Dデータセットでの実験評価では、12のアクションクラス全体で87.31%のテスト精度と0.7948のマクロF1を達成した。世界モデルが予測した将来のフレームは、実際の観測と比較して0.79%の精度低下しかなく、98.82%のアクション一致率を示し、リアルタイムオフロード走行における効果的なクロスデータセット汎化を実証している。