PipelineRL:推論と学習のトレードオフを解消する新しい強化学習アルゴリズム
PipelineRL
PipelineRLは、推論のスループットとオンポリシーデータ収集のトレードオフを解消する新しい強化学習アルゴリズムである。従来の強化学習では、推論サーバーで大量のデータを処理すると、ポリシー更新との遅延が生じ、データがオフポリシーになり学習効率が低下する。PipelineRLは、推論を停止せずに重み更新を行う「インフライト重み更新」により、この問題を解決する。これにより、GPU利用率の向上と学習効率の改善が実現される。7Bおよび32BモデルでOpen-Reasoner-Zeroデータセットを学習させた結果、PipelineRLはOpen-Reasonerと同等以上の性能を示した。また、PipelineRLはよりシンプルなアルゴリズムであり、モジュール式のアーキテクチャにより、新しい推論・トレーナーの組み合わせを容易に試すことができる。7Bモデルでは約3.5日(ノード2つ)、32Bモデルでは約6日(ノード4つ)で学習が完了した。
- PipelineRLという新しい強化学習アルゴリズムが公開され、7Bおよび32BモデルでOpen-Reasoner-Zeroデータセットを学習させた結果、Open-Reasonerと同等以上の性能を示した
本記事で注目すべきは、PipelineRLが強化学習における推論スループットとオンポリシーデータ収集のトレードオフを本質的に解消した点である。従来、大規模な推論サーバーではポリシー更新の遅延によりデータがオフポリシー化し学習効率が低下していたが、「インフライト重み更新」により推論を止めずに重み更新を適用できるようにした。これはLLMの自己改善サイクルを高速化し、GPU利用率を引き上げる可能性がある。7Bモデルで2ノード・約3.5日、32Bモデルで4ノード・約6日での学習完了という具体的な数値も示されており、計算リソースの効率化が投資評価のポイントとなる。アルゴリズムのモジュール化により、新しい推論器やトレーナーとの組み合わせ実験が容易になる点も、今後のエコシステム発展に寄与する可能性がある。