Hugging Face Optimum を使用した IPU 向け Transformer モデルの始め方

Hugging Face は、様々なハードウェアプラットフォームで Transformer モデルの予測レイテンシを削減するオープンソースライブラリ「Optimum」をリリースしました。この記事では、AI ワークロード向けに設計された並列プロセッサである Graphcore の IPU (Intelligence Processing Unit) で Transformer モデルを高速化する方法を解説します。Graphcore と Hugging Face のパートナーシップにより、IPU 最適化モデルの第一弾として BERT が導入され、今後、画像、音声、翻訳、テキスト生成などの分野でさらに多くのモデルが提供される予定です。Graphcore のエンジニアは、Hugging Face Transformers を使用して BERT を IPU システムに実装・最適化し、開発者が最先端モデルを容易にトレーニング、ファインチューニング、高速化できるようにしました。記事では、Graphcloud 上の IPU-POD16 システムと PyTorch を使用し、BERT を例に Optimum と IPU の使い方を説明しています。具体的には、Poplar SDK と PopART の有効化、PopTorch 環境のセットアップ、🤗 Optimum Graphcore パッケージのインストール、そして `run_qa.py` スクリプトを用いた SQuAD1.1 データセットでの BERT モデルのファインチューニング手順が示されています。ファインチューニングの結果、訓練損失は約 0.94、訓練ステップあたりのサンプル数は約 720、評価段階での Exact Match は 80.66%、F1 スコアは 88.27% となりました。