TRLライブラリによるビジョン言語モデル(VLM)の直接選好最適化(DPO)
Preference Optimization for Vision Language Models
TRLライブラリがビジョン言語モデル(VLM)向けの直接選好最適化(DPO)をサポートするようになった。DPOは、プロンプト、選択された回答、拒否された回答の3つ組からなるデータセットを使用し、モデルが選択された回答を拒否された回答よりも優先するように学習させる。本記事では、openbmb/RLAIF-V-Dataset(83,000件以上の注釈付きデータ)を用いて、VLMのファインチューニングを行う手順を解説している。Idefics2-8bモデルを例に、メモリ使用量を削減するためにbfloat16精度とLoRA(Low-Rank Adaptation)を適用する方法、および学習時のバッチサイズや勾配累積ステップの設定について説明している。最適化後のメモリ要件は約32GBとなり、GPUでの学習が可能になる。学習スクリプトの例も示されており、学習後には精度や報酬マージンなどの指標で評価が行われる。AMBERベンチマークによる評価では、DPOファインチューニングによりハルシネーションがわずかに減少したことが示されている。TRLはIdefics2、Llava 1.5、PaliGemmaなどのモデルをサポートしており、今後さらに多くのモデルへの対応が予定されている。
- TRLライブラリがVLM向けDPOをサポート開始
TRLライブラリがVLM向けDPOをサポートしたことで、マルチモーダルAIモデルの開発障壁が低下し、参入企業が増える可能性がある。Idefics2-8bクラスのモデルでも32GBのGPUメモリでDPOファインチューニングが可能になったことは、GPUリソースが限られるスタートアップや研究機関にとって朗報。AMBERベンチマークでハルシネーション低減効果も確認されており、VLMの実用化・商用化が加速する兆候として注目すべき。