AMD 第5世代EPYCTM CPUの紹介
Introducing the AMD 5th Gen EPYC™ CPU
AMDは、最大192コア、384スレッドを搭載した第5世代EPYCTM CPU「Turin」を発表しました。この新世代CPUは、大規模言語モデル(LLM)やRAGシナリオにおいて、レイテンシの削減、スループットの向上、運用コストの低減を実現します。Hugging FaceはAMDと協力し、新CPU世代でのエコシステムのサポートとパフォーマンスを検証しました。また、AMD ZenDNN PyTorchプラグイン(zentorch)を活用したtorch.compileによる最適化も進められています。ベンチマークでは、Turin(128コア)はGenoa(96コア)と比較して、Meta Llama 3.1 8Bモデルの推論において約2倍のスループット向上を達成しました。bfloat16データ型とZenDNN 5.0を使用し、バッチサイズ16および32で、要約、チャットボット、翻訳、エッセイ作成、ライブキャプションの5つのユースケースでテストが行われました。最適化されたDockerfileとベンチマークコードは近日公開予定です。
- AMDが第5世代EPYC CPU「Turin」を発表(最大192コア、384スレッド)
- Hugging FaceがAMDと協力し、新CPU世代でのエコシステムサポートとパフォーマンス検証を実施
- ベンチマークでTurin(128コア)がGenoa(96コア)比でMeta Llama 3.1 8B推論において約2倍のスループット向上を達成
AMDが第5世代EPYC「Turin」を発表し、AI推論ワークロード(特にLLM推論)で前世代比2倍のスループット向上を達成した点は重要。128コア/256スレッド構成で、Meta Llama 3.1 8Bのような実用的なモデルで明確な性能向上を示しており、クラウド事業者や企業のAIサーバー投資判断に直結する。Hugging Faceとのエコシステム連携やZenDNN PyTorchプラグインによるソフトウェア最適化も進んでおり、AMDのCPUベースAI推論における競争力強化が明確に確認できる。