CLI-PPO: 記憶拡張型PPOフレームワークによる障害物マップなしナビゲーション
CLI-PPO: A Memory-Augmented PPO Framework with Intrinsic Curiosity and Curriculum Learning for Mapless Multi-Obstacle Navigation
本論文は、深層強化学習における未知の障害物環境での自律ナビゲーションの課題に対処するため、カリキュラム学習と内発的知的好奇心を強化した時間的PPOフレームワーク「CLI-PPO」を提案する。CLI-PPOは、LSTMネットワークによる逐次的意思決定、内発的知的好奇心モジュールによる未踏領域の探索強化、カリキュラム学習によるタスク難易度の段階的増加を統合し、PPOのポリシー最適化を安定させる。目標誘導、障害物回避、探索インセンティブを組み合わせたハイブリッド報酬関数が用いられる。実験の結果、CLI-PPOは成功率66.24%、衝突率33.58%、平均リターン3433.14を達成し、従来のPPO(成功率46.06%、衝突率53.94%、平均リターン2083.21)を上回った。特に10個の障害物設定では、CLI-PPOは成功率62.72±3.59%、平均リターン3337.12±48.93を示し、PPO+ICM+Curriculumと比較して、障害物密度増加時にはより高いリターンと一貫した性能を示した。
- カリキュラム学習と内発的知的好奇心を統合した記憶拡張型PPOフレームワーク「CLI-PPO」を提案し、障害物マップなしで未知環境をナビゲーションする手法を発表
- 実験で成功率66.24%、衝突率33.58%、平均リターン3433.14を達成し、従来PPO(成功率46.06%、衝突率53.94%、平均リターン2083.21)を上回った
- 10個の障害物を配置した高密度環境で成功率62.72±3.59%、平均リターン3337.12±48.93を示し、PPO+ICM+Curriculum比で障害物密度増加時に安定した性能を維持
- LSTMによる逐次的意思決定と内発的知的好奇心モジュールによる未踏領域探索を組み合わせ、目標誘導・障害物回避・探索インセンティブのハイブリッド報酬関数を採用
CLI-PPOは強化学習ベースの自律ナビゲーション手法で、成功率66.24%・衝突率33.58%と従来PPO(成功率46.06%・衝突率53.94%)を大幅に上回った点が注目される。障害物マップ不要で未知環境に対応できるため、物流ロボットや屋内配送、自動運転などmobility/robotics領域への応用余地が大きい。ただし本記事は論文発表段階であり商用製品や企業の採用事例ではないため、投資判断には実験条件・実環境での再現性・計算コストの検証が不可欠。今後この種の学習アルゴリズムがロボティクス企業の製品優位性にどう組み込まれるかを追跡したい。