TRLにおけるビジョン言語モデルのアライメント強化:MPO、GRPO、GSPOなどの新手法導入

TRL(Transformer Reinforcement Learning)ライブラリが、ビジョン言語モデル(VLM)のアライメントを強化するため、Mixed Preference Optimization (MPO)、Group Relative Policy Optimization (GRPO)、Group Sequence Policy Optimization (GSPO)といった新しい手法を導入しました。MPOは、DPO(Direct Preference Optimization)を拡張し、複数の損失関数(選好、品質、生成)を組み合わせることで、特にマルチモーダルモデルの性能向上を目指し、MathVistaで6.2ポイントの改善が見られました。GRPOは、PPO(Proximal Policy Optimization)をバッチ単位で更新することで報酬ノイズへの頑健性を高め、GSPOはGRPOのシーケンスレベルでの重要度サンプリングにより、より安定した学習を実現します。これらの新手法に加え、RLOO(Reinforce Leave One Out)やOnline DPOもVLMに対応し、SFT(Supervised Fine-Tuning)もVLMをネイティブにサポートするようになりました。また、vLLMとの統合により、オンラインアライメント手法の効率化も図られています。記事では、これらの手法の実装方法や、Qwen2.5VL-3Bモデルを用いた比較実験の結果も示されています。