動的重み分解に基づく地域交通信号制御のためのマルチエージェント深層強化学習
Multi-Agent Deep Reinforcement Learning for Regional Traffic Signal Control Based on Dynamic Weight Decomposition
本研究では、交通流の変動や地域内の交差点間の複雑な動的相互作用への適応が困難な従来の交通信号制御手法の課題に対処するため、Qatten (Q-value Attention Network)-TSC アルゴリズムを提案した。このアルゴリズムは、動的重み付け値分解の原理に基づき、マルチエージェントQMIXフレームワーク上に構築されている。マルチヘッドアテンション機構を用いて、個々のエージェントのQ値とグローバル状態および個々の特徴を効果的に融合し、グローバルQ値を計算する。さらに、多次元状態情報を組み込み、複雑な交通ネットワークを包括的に特徴付ける。揚州の実際の道路ネットワークに基づいた小規模および大規模SUMOシミュレーションプラットフォームで広範な実験が行われた。結果として、Qatten-TSC は VDN および QMIX と比較して、小規模ネットワークでそれぞれ 26.4% および 3.46%、大規模ネットワークでそれぞれ 34.12% および 12.81% の平均報酬増加を達成した。大規模シナリオでは、平均時間損失がそれぞれ 19.28% および 7.15% 減少し、平均速度がそれぞれ 3.00% および 0.87% 増加した。動的重み付けメカニズムは、道路ネットワークの複雑さが増加しても、堅牢かつ効果的であることが示された。
- Qatten(Q-value Attention Network)-TSCアルゴリズムを提案し、動的重み付け値分解の原理に基づきマルチエージェントQMIXフレームワーク上に構築した
- 中国・揚州の実道路ネットワークに基づく小規模・大規模SUMOシミュレーションで検証し、VDN/QMIX比で平均報酬が小規模26.4%・3.46%、大規模34.12%・12.81%増加した
- 大規模シナリオで平均時間損失が19.28%・7.15%減少、平均速度が3.00%・0.87%増加し、動的重み付け機構がネットワーク複雑化に対して堅牢であることを示した
交通信号制御という応用領域でマルチエージェント強化学習(QMIX系)の協調制御アルゴリズムが実道路網ベースのSUMO検証で既存手法を上回った点は、マルチエージェント強化学習の実装成熟を示す。ただし研究段階の成果であり、商用製品化や導入契約、ライセンス等の事業化情報はなく、投資判断には、こうした制御系AIを実装するITS・スマートシティ企業やシミュレーション基盤側の採用動向を追う必要がある。数値上はVDN比で報酬が大幅改善しており、スケーラビリティ(大規模網での劣化耐性)が示されたことは、都市規模でのAI交通制御の実用性評価において重要なシグナル。