強化型優先度付き強化学習を用いたVSCサポート低慣性電力システムの高速周波数制御
Fast Frequency Control of VSC-Supported Low-Inertia Power Systems Using Enhanced Prioritized Reinforcement Learning
本論文では、コンバータ接続型再生可能発電の増加による電力系統の慣性低下と周波数変動の増大という課題に対応するため、VSCサポート低慣性電力システムの高速周波数制御に適用可能な、強化型優先度付き強化学習戦略を定式化し評価する。この制御器は、ツインクリティック決定論的アクタークリティックアーキテクチャに、優先度付き経験再生、報酬平滑化、アクター学習率減衰を統合している。この戦略は、修正IEEE 14バスベンチマークで評価され、ローカルトループ制御ベースライン、DDPG、TD3、PPO、SAC、モデル予測制御(MPC)と比較された。ベンチマーク結果は、調査された学習ベース制御器と比較して、過渡周波数偏差の抑制において有利であることを示したが、SACとMPCは累積および定常状態の周波数調整指標において利点を示した。Leave-one-outおよび因子分析は、3つのトレーニング強化による補完的かつ指標依存的な貢献を示唆したが、現在の5シード因子評価では明確なペアワイズまたは3者モジュール相互作用は解決されなかった。学習済みポリシーは、再トレーニングなしで、通信、情報、および未知の動作条件下でも、調査された条件下でバウンドされた応答を維持した。さらに、100msの監視制御間隔下での99パーセンタイルアクター推論時間は約0.12msであった。これらの結果は、有利な過渡調整、経験的堅牢性および一般化、そして低いオンライン計算負荷を示している。
- VSCサポート低慣性電力システムの高速周波数制御に、優先度付き経験再生・報酬平滑化・アクター学習率減衰を統合したツインクリティック決定論的アクタークリティック強化学習を適用し定式化・評価した
- 修正IEEE 14バスベンチマークでローカルトループ制御、DDPG、TD3、PPO、SAC、モデル予測制御(MPC)と比較し、過渡周波数偏差の抑制で学習ベース制御器より有利だった
- SACとMPCは累積および定常状態の周波数調整指標で優位性を示した
- 100msの監視制御間隔下での99パーセンタイルアクター推論時間は約0.12msで、オンライン計算負荷が低い
- 学習済みポリシーは再トレーニングなしで通信・情報・未知の動作条件下でもバウンドされた応答を維持し、経験的堅牢性と一般化を示した
電力系統の周波数制御という制御工学分野の論文だが、手法の核は強化学習(TD3系のツインクリティック+優先度付き経験再生)であり、AIの産業応用先が電力インフラへ広がる例として押さえたい。特に注目は推論時間約0.12msという数値で、100msの監視制御間隔に対して十分な余裕があり、実機のVSC制御ループに学習済みポリシーを載せられる現実味を示す。一方でSACやMPCが累積・定常指標で優位という結果は、RL万能ではなく既存制御との併用・使い分けが前提になることを示唆し、制御系ベンダーや系統運用向けソフトの競争軸を考える上での材料になる。ただし実験はIEEE 14バスベンチマーク上のシミュレーションで、実系統検証や商用化の時期は示されておらず、短期的な投資判断に直結する内容ではない。