8GB GPUで最小限のLLM事後学習実験(SFT、DPO、GRPO)

この記事では、HuggingFace TRLなどのオープンソースフレームワークを使用し、8GB GPUで実行可能な最小限のコードで、大規模言語モデル(LLM)の事後学習手法であるSFT(Supervised Fine-Tuning)、DPO(Direct Preference Optimization)、GRPO(Group Relative Policy Optimization)の実験について解説しています。SFTは指示追従能力を注入し、DPOは選好ペアに基づいてモデルを微調整し、GRPOは検証可能な報酬を用いてモデルの推論能力を増幅させます。特に、RL(強化学習)はSFTと比較して元のモデルからの「ドリフト」(KLダイバージェンス)が少なく、既存の能力を維持しながら新しいタスクを学習できることが示されています。これらの実験は、計算コストと知識の障壁というLLM学習の課題に対処するために、モデルサイズを小さく保ち、関連性の高いアルゴリズムに焦点を当てています。