複雑な障害物環境におけるマルチUAV協調経路計画法

複雑な障害物環境におけるマルチUAV協調経路計画タスクにおいて、既存のマルチエージェント強化学習手法は、環境の非定常性、エージェント間の協調の難しさ、経験サンプルの利用効率の低さといった課題を抱えている。これらの問題に対処するため、中央集権型学習・分散型実行フレームワークの下で協調経路計画モデルを構築し、グローバルリプレイバッファとローカルリプレイバッファからなるデュアルレイヤーリプレイバッファ構造を採用して、グローバル協調情報と個々の経験の両方を保持する。さらに、優先度付き経験リプレイとランダム一様サンプリングを組み合わせたフュージョン経験サンプリングメカニズムを導入し、サンプル利用効率と訓練安定性を向上させる「IER-MADDPG(Improved Experience Replay Multi-Agent Deep Deterministic Policy Gradient)」アルゴリズムを提案する。実験の結果、IER-MADDPGは収束速度、訓練安定性、経路計画性能において他の比較アルゴリズムを上回ることが示された。