Hugging Faceモデルの学習を容易かつ高速にするOptimumとONNX Runtime
Optimum+ONNX Runtime - Easier, Faster training for your Hugging Face models
Hugging FaceとMicrosoftのONNX Runtimeチームは、大規模な言語、音声、視覚モデルのファインチューニングを改善するため協力している。Hugging FaceのOptimumライブラリは、ONNX Runtimeとの統合により、多くの人気Hugging Faceモデルの学習時間を35%以上短縮するオープンソリューションを提供する。ONNX RuntimeとDeepSpeed ZeRO Stage 1を併用することで、学習時間が39%から130%向上する。Optimumは、TransformersのTrainerを拡張するORTTrainer APIを提供し、ONNX Runtimeをバックエンドとして利用することで学習を高速化する。ORTTrainerは、ハイパーパラメータ検索、混合精度学習、分散学習などの機能をサポートし、DeepSpeed ZeRO-1との組み合わせも容易にする。Optimumライブラリの導入には、TrainerをORTTrainerに、TrainingArgumentsをORTTrainingArgumentsに置き換えるなどのコード変更が必要となる。Hugging Faceは、WhisperやStable Diffusionなどの新しい大規模モデルアーキテクチャ向けに、ONNX Runtimeトレーニングチームと協力してさらなる最適化を進めている。
- Hugging FaceとMicrosoft ONNX Runtimeチームが協業し、OptimumライブラリとONNX Runtimeの統合により人気モデルの学習時間を35%以上短縮するソリューションを提供開始
- ORTTrainer APIを公開し、TransformersのTrainerを拡張してONNX Runtimeをバックエンドとした学習高速化を実現
Hugging FaceとMicrosoftが協業してOptimum + ONNX RuntimeによるAIモデル学習高速化(最大130%の性能向上)を実現した点は、AI/ML運用コスト削減とLLMファインチューニングの民主化に直結する。特にDeepSpeed ZeRO-1との組み合わせが容易な点は、大規模モデル学習の効率化ニーズが高まる中で競争優位性となる。Hugging Faceのエコシステムがさらに深化し、Microsoft Azure上でのワークロード最適化にも寄与する可能性があり、クラウドAI需要の拡大トレンドを補強する動き。