AMDとHugging Face、大規模言語モデルのAMD GPU向けアクセラレーションを強化
AMD + 🤗: Large Language Models Out-of-the-Box Acceleration with AMD GPU
AMDは、Hugging FaceのTransformersライブラリと連携し、AMD InstinctTM MI300シリーズなどのサーバーGPUで大規模言語モデル(LLM)の実行をコード変更なしでサポートする。これにより、Flash Attention v2、Paged Attention、DeepSpeed、GPTQ、Optimum-Benchmark、ONNX Runtimeなどの最新技術がROCmプラットフォーム上で利用可能になる。AMD Instinct MI250 GPUは、NVIDIA A100 GPUと比較して、バッチ処理時のデコードスループットで2.33倍、初回トークン生成時間で半分の性能を示した。また、Text Generation Inference (TGI) におけるAMD Instinct MI210およびMI250 GPUのサポートも開始され、パフォーマンスはNVIDIA GPUと同等レベルに達している。今後はAMD Radeon GPUやRyzen AIテクノロジーへの対応も拡大予定である。
- AMDがHugging Face Transformersライブラリと連携し、ROCm上でコード変更不要のLLM実行をサポート開始
- AMD Instinct MI250 GPUがNVIDIA A100に対してデコードスループット2.33倍、初回トークン生成時間半減の性能を達成
- AMDがText Generation Inference (TGI) におけるMI210およびMI250 GPUのサポートを開始
AMDがHugging Faceとの連携により、コード変更不要で主要LLM実行環境をROCmプラットフォームに統合した点は、NVIDIAのCUDA独占体制に風穴を開ける可能性がある。特にMI250がA100比でデコードスループット2.33倍、初回トークン生成時間半減という具体的なベンチマーク結果を示したことは、AMD GPUのAI推論分野での競争力が実用レベルにあることを示している。TGI対応によりデプロイ実績も積み始めており、AI半導体市場におけるAMDのシェア拡大シナリオに注目すべき。