IntelテクノロジーでPyTorch分散ファインチューニングを高速化

この記事では、Intel Xeon Scalable CPU(Ice Lakeアーキテクチャ)サーバーのクラスター上でPyTorchの学習ジョブを分散実行し、ファインチューニングを高速化する方法を解説しています。CPUベースのクラスターは、特に転移学習で利用されるファインチューニングにおいて、学習時間とコストを抑える選択肢となります。BERTモデルをMRPCデータセットでファインチューニングする例を用いて、クラスターの構築から、単一ノードでのベースライン実行、そして2ノードおよび4ノードへのスケールアウトによる速度向上を測定します。Intel Extension for PyTorchやoneAPI Collective Communications Library (oneCCL) などのパフォーマンス最適化ライブラリを活用し、AWS EC2インスタンス(Intel Ice Lake CPU搭載)を例に、クラスター設定、依存関係のインストール、分散学習スクリプトの修正手順を具体的に示しています。4ノード構成では、単一ノードと比較して最大3倍の速度向上が確認されました。転移学習の普及により、CPUベースの学習が再び注目されていることを強調しています。