Hugging Face、AMD Instinct MI300 GPUの統合を発表
Hugging Face on AMD Instinct MI300 GPU
Hugging FaceはAMDとの協業により、最新世代のAMD Instinct MI300 GPUをHugging Faceプラットフォームに統合したことを発表しました。これにより、ローカル環境でのプロトタイピングからAzure上の本番環境でのモデルデプロイまで、コード変更なしでMI300 GPUを利用できるようになります。特に、推論ソリューションであるtext-generation-inference (TGI)では、Flash Attention v2、Paged Attention、GPTQ/AWQ圧縮技術、PyTorch ROCm TunableOp、最適化された融合カーネルなどを活用し、Meta Llama 3 70Bモデルの推論において、MI250と比較してプレフィルで2~3倍、デコードフェーズで2倍の高速化を実現しました。また、ファインチューニングにおいても、MI300XはMI250よりも約2倍高速なトレーニングが可能で、192GBのHBM3メモリにより、MI250では困難だった大規模モデルの単一デバイスでのファインチューニングも可能になりました。今後はfloat8などのミニフロート形式への対応も強化していく予定です。
- Hugging FaceがAMD Instinct MI300 GPUのプラットフォーム統合を発表
- MI300 GPU上でtext-generation-inference (TGI)によるMeta Llama 3 70B推論がMI250比でプレフィル2〜3倍、デコード2倍の高速化を実現
Hugging FaceがAMD Instinct MI300 GPUを統合したことで、NVIDIA一強のAIアクセラレータ市場に競争圧力が生まれている点が重要。MI300はLlama 3 70B推論でMI250比2〜3倍の性能向上を示しており、特に192GB HBM3メモリにより大規模モデルの単一デバイスファインチューニングが可能になった点は、AIワークロードのコスト構造を変えうる。コード変更不要でのMI300利用はGPU代替へのスイッチングコストを下げ、AMDのデータセンター向けGPUシェア拡大の布石となる。