NVIDIA NeMo AutoModelによるTransformerファインチューニングの高速化
Accelerating Transformers Fine-Tuning with NVIDIA NeMo AutoModel
NVIDIA NeMo AutoModelは、NVIDIA NeMoフレームワークの一部として、大規模なカスタム生成AIモデル構築のためのオープンライブラリです。このライブラリは、Expert Parallelism、DeepEP fused all-to-all dispatch、TransformerEngineカーネルを追加し、v5の動的な重みロードを活用して、ファインチューニング時のトレーニングスループットを3.4-3.7倍向上させ、GPUメモリ使用量を29-32%削減します。これは、既存のfrom_pretrained() APIを変更せずに実現可能です。NeMo AutoModelは、HuggingFace TransformersとのAPI互換性を持ち、Qwen3-30B-A3BやNemotron 3 Nano 30B-A3Bのようなモデルのファインチューニングにおいて、Transformers v5と比較して大幅な性能向上を示しました。特に、550BパラメータのNemotron 3 Ultraモデルを16ノードでファインチューニングする際には、Expert Parallelismがメモリ制約を克服するために不可欠であることが示されました。NeMo AutoModelは、DeepEPによる通信と計算の融合、TransformerEngineカーネルによるコア演算の高速化、そしてExpert Parallelismによる専門家(expert)のGPU間シャーディングにより、これらの性能向上を実現しています。保存されるチェックポイントは標準的なHF形式であり、vLLMやSGLangなどの推論フレームワークでも利用可能です。
- NVIDIA NeMo AutoModelがファインチューニング時のトレーニングスループットを3.4〜3.7倍向上、GPUメモリ使用量を29〜32%削減する新機能を公開
- Expert Parallelismの導入により550BパラメータのNemotron 3 Ultraモデルの16ノードでのファインチューニングが可能に
- HuggingFace TransformersとのAPI互換性を維持しつつ、標準HF形式のチェックポイント保存に対応
NVIDIAがNeMo AutoModelの最新アップデートで、MoE(Mixture of Experts)モデルのファインチューニングにおいて最大3.7倍のスループット向上と約30%のGPUメモリ削減を実現した点は注目に値する。特に550Bパラメータ級の超大規模MoEモデルの実用的なファインチューニングを可能にするExpert Parallelismの導入は、エンタープライズ向け生成AI導入のハードルを下げる。HuggingFace TransformersとのAPI互換性を維持しつつ、標準HF形式でチェックポイントが保存されるため、vLLMやSGLangといった推論フレームワークとの連携もシームレスであり、NVIDIAのAIインフラ領域におけるプラットフォーム戦略の強化を示している。