Unslothと🤗 TRLでLLMのファインチューニングを2倍高速化

Unslothは、Hugging Faceのエコシステムと完全に互換性のある、LLMのファインチューニングを高速化する軽量ライブラリです。NVIDIA GPUの多くに対応しており、TRLライブラリのSFTTrainer、DPOTrainer、PPOTrainerと組み合わせて使用できます。Llama(CodeLlama、Yiなど)およびMistralアーキテクチャをサポートしています。Unslothは、モデルコードの一部を最適化された操作で上書きすることで機能します。バックプロパゲーションステップを手動で導出し、すべてのPytorchモジュールをTritonカーネルに書き換えることで、メモリ使用量を削減し、ファインチューニングを高速化します。精度低下はゼロです。ベンチマークによると、Unslothは最大2.7倍高速で、最大74%少ないメモリを使用します。また、4ビットモデルの直接ロードにより、モデルのダウンロードが4倍高速になり、メモリ断片化が約500MB削減されます。