Habana Gaudi®2 vs Nvidia A100 80GB:学習と推論の高速化
Faster Training and Inference: Habana Gaudi®2 vs Nvidia A100 80GB
Habana Labsの第2世代AIアクセラレータであるGaudi2は、1サーバーあたり8基のデバイスと各96GBのメモリを搭載しています。SDKであるSynapseAIは第1世代Gaudiと共通で、Hugging Faceの🤗 Optimum Habanaライブラリも変更なく利用可能です。Intel Developer Cloudを通じてGaudi2インスタンスを起動できます。BERT事前学習のベンチマークでは、Gaudi2は第1世代Gaudiと比較して学習時間が3.04倍短縮され、バッチサイズを拡大することで学習時間全体で5.75倍、スループットで3.53倍向上しました。Nvidia A100 80GBと比較しても、Gaudi2は学習・推論で約2倍のスループットを示します。Stable Diffusionの画像生成では、Gaudi2は第1世代Gaudiより3.51倍、A100より2.84倍高速なレイテンシを実現しました。また、Gaudi2は96GBのメモリにより、T5-3Bのような大規模モデルのファインチューニングも可能にし、A100 80GBと比較して2.44倍高速でした。
- Habana Labsが第2世代AIアクセラレータGaudi2のベンチマーク結果を公表し、Nvidia A100 80GBと比較して学習・推論で約2倍のスループット、Stable Diffusionで2.84倍高速なレイテンシを達成したことを示した
Habana Gaudi2はIntelが提供するAIアクセラレータであり、Nvidia A100 80GBと比較して学習・推論ともに約2〜3倍のスループットを達成している点が注目に値する。特に、Intel Developer Cloudを通じたインスタンス起動が可能で、Hugging Face Optimum Habanaにも対応するなどエコシステムの整備が進んでいる。AI半導体市場におけるNvidia一強の構図にIntelが本格的に挑む兆候であり、データセンター向けAIアクセラレータの競争激化を示す重要なベンチマーク結果である。