RLHFに強化学習(RL)を再導入するRLOOトレーナーがTRLに登場

Hugging Faceは、TRLライブラリにRLHF(人間のフィードバックからの強化学習)のための新しいオンライン強化学習アルゴリズム「RLOO(REINFORCE Leave One-Out)トレーナー」を導入した。RLOOは、既存のPPOアルゴリズムと比較して、GPUメモリ使用量を50-70%削減し、学習時間を最大3倍短縮する。また、GPT-4による評価でPPOに匹敵する応答勝率を示し、DPOのようなオフライン手法を上回る性能を持つ。RLOOは、PPOが抱えていた高メモリ要件や実装の複雑さを解消し、より多くの研究者がオンラインRL手法を容易に探求できるようにすることを目的としている。RLOOは、モデルの完了トークン全体を単一のアクションとして扱い、REINFORCE損失関数と改良されたベースライン計算を用いることで、効率性と性能を向上させている。ただし、bf16精度での学習時に、生成時と学習時の対数確率の数値的な差異に起因する勾配消失の問題がPPOよりも顕著に発生する可能性があることが指摘されている。