インテル Xeon CPU で BERT ライクモデルの推論をスケールアップする - パート 2
Scaling up BERT-like model Inference on modern CPU - Part 2
この記事は、インテルの最新世代 Xeon CPU(Ice Lake)における AI ワークロード、特に BERT ライクモデルの推論パフォーマンス向上に焦点を当てています。前回のブログ記事でハードウェア機能(AVX512、VNNI)に触れたのに対し、今回はソフトウェア最適化に重点を置いています。Ice Lake は、前世代の Cascade Lake と比較して NLP タスクで最大 75% 高速な推論を実現し、これは新しい命令セットや PCIe 4.0 などのハードウェア改善と、Intel Extension for Scikit Learn、Intel TensorFlow、Intel PyTorch Extension といったソフトウェア最適化の組み合わせによるものです。記事では、oneAPI の一環として提供される Intel oneMKL(Math Kernel Library)、Intel OpenMP、oneTBB(Threading Building Blocks)、oneDNN(Deep Neural Network primitives)、oneCCL(Collective Communications Library)といったライブラリの重要性を強調しています。特に、PyTorch や TensorFlow にネイティブ統合されている MKL や oneDNN は、追加設定なしでパフォーマンス向上をもたらします。ベンチマークでは、PyTorch 1.9.0 と TensorFlow 2.5.0 を使用し、レイテンシとスループットを測定しました。また、メモリ割り当ての最適化についても触れられており、glibc、jemalloc、tcmalloc の比較が行われ、特に tcmalloc が多くのワークロードで優れたパフォーマンスを示したことが報告されています。さらに、OpenMP の GNU 実装と Intel 実装の比較も行われ、Intel OpenMP が Intel CPU に最適化されていることが示唆されています。
- IntelがIce Lake Xeon CPUでBERTライクモデルの推論性能を前世代比最大75%向上させたことを発表
- IntelがoneAPIライブラリ群(oneMKL、oneDNN、oneCCL等)によるソフトウェア最適化のベンチマーク結果を公開
本記事は最新世代Xeon Ice LakeがNLP推論において前世代比最大75%高速化を達成したことを示しており、データセンター向けCPU市場におけるIntelの競争力を評価する上で重要。特筆すべきは、ハードウェアの改善だけでなく、oneAPIエコシステム(MKL、oneDNN等)のソフトウェア最適化によって無償でパフォーマンス向上が得られる点で、Intelプラットフォームの粘着性(スイッチングコスト)強化につながる。また、メモリアロケータの選択やOpenMP実装の違いなど、ソフトウェアスタック全体の最適化が実運用パフォーマンスに大きく影響することを示しており、Intel CPUを採用するクラウド事業者やエンタープライズにとって、単なるチップ性能だけでなくソフトウェアエコシステム含めた総合評価が必要であることを示唆している。