Intel Gaudi 2 上でのタンパク質言語モデル ProtST の高速化
Accelerating Protein Language Model ProtST on Intel Gaudi 2
MILAとIntel Labsは、国際機械学習会議2023(ICML)で、テキストプロンプトに基づくタンパク質設計のためのマルチモーダル言語モデルProtSTを発表した。ProtSTは研究コミュニティで好評を得ており、1年足らずで40以上の引用を達成している。このモデルは、アミノ酸配列を入力として細胞内局在を予測するタスクで、ゼロショットで最先端の少数ショット分類器を上回る性能を示す。IntelとMILAはProtSTをHugging Face Hubで公開し、Intel Gaudi 2アクセラレータとOptimum for Intel Gaudiライブラリを使用して、ProtSTの推論とファインチューニングを効率的に行う方法を示している。NVIDIA A100 80GB PCIeと比較して、ProtST-SubcellularLocalizationデータセットでの推論ではGaudi 2が1.76倍高速であり、ProtST-BinaryLocalizationデータセットでのファインチューニングではGaudi 2が2.92倍高速であることが示された。また、8つのGaudi 2アクセラレータを使用した分散学習のスケーラビリティも実証されている。
- MILAとIntel LabsがICML 2023でマルチモーダル言語モデルProtSTを発表
- IntelとMILAがProtSTをHugging Face Hubで公開し、Gaudi 2上での推論・ファインチューニング手法を提供
- Gaudi 2がNVIDIA A100 80GB PCIe比で推論1.76倍、ファインチューニング2.92倍の性能を達成
Intel Gaudi 2がNVIDIA A100比で最大2.92倍高速という具体的なベンチマークが示された点は、AI半導体分野でNVIDIA一強と目される市場において、Intel Gaudiシリーズが実用的な競争力を持つことを示している。特にタンパク質言語モデルという新興領域での性能実証は、NVIDIA以外のAIアクセラレータソリューションへの需要が高まりつつある投資環境において、IntelのデータセンターAI事業の成長可能性を評価する重要な指標となる。