24GBのコンシューマーGPUで20B LLMをRLHFでファインチューニングする
Fine-tuning 20B LLMs with RLHF on a 24GB consumer GPU
Hugging FaceのtrlライブラリとPEFT(Parameter-Efficient Fine-Tuning)ライブラリを活用することで、24GBのVRAMを持つコンシューマー向けGPUでも200億パラメータの大規模言語モデル(LLM)をRLHF(強化学習による人間からのフィードバック)でファインチューニングすることが可能になった。従来、このような大規模モデルのファインチューニングには大量のGPUメモリが必要だったが、PEFTによるアダプター層の利用や、bitsandbytesライブラリによる8ビット量子化などを組み合わせることで、メモリ使用量を大幅に削減できる。具体的には、モデルを8ビット精度でロードし、PEFTで低ランクアダプターを学習させることで、学習に必要なパラメータ数を削減する。これにより、参照モデルとアクティブモデルの2つのモデルコピーをメモリに保持する必要があるRLHFのプロセスでも、単一のGPUで実行可能となる。この記事では、gpt-neox-20bモデルをIMDbデータセットでファインチューニングする具体的な手順と、その結果を示している。この技術により、より多くの研究者や開発者がLLMのファインチューニングにアクセスできるようになり、コミュニティによるRLHFを用いた大規模モデルの共有が促進されると期待される。
- Hugging Faceのtrl/PEFTライブラリと8ビット量子化の組み合わせにより、24GB VRAMのコンシューマーGPUで20B LLMのRLHFファインチューニングが可能になったことが公開された
コンシューマーGPU1枚で200億パラメータ規模のLLMをRLHFファインチューニング可能にした点が重要。従来は大量のGPUリソースが必要だったRLHFの敷居を大幅に下げることで、LLMの人間嗜好調整(アライメント)が個人や小規模組織でも実現可能になる。これはAIモデルの民主化・エコシステムの分散化を加速させ、調整治具(RLHFaaSやPEFTツール)の需要拡大や、クラウドGPU需要への影響など、投資テーマとして注視すべき技術進展である。