Hugging FaceのAccelerateライブラリがバージョン1.0.0のリリース候補版を公開

Hugging Faceは、大規模モデルのトレーニングを容易にするためのライブラリAccelerateのバージョン1.0.0の最初のリリース候補版(RC1)を公開しました。Accelerateは3年半前に登場し、当初はマルチGPUおよびTPUシステムでのトレーニングを簡素化する低レベル抽象化フレームワークでしたが、現在では4050億パラメータ(Llama)規模のモデルに対応する多面的なライブラリへと進化しました。主な機能として、CPU、GPU、TPU、XPU、NPU、MLUの6種類のハードウェアアクセラレータに対応し、元のトレーニングループの99%を維持する柔軟な低レベルトレーニングAPI、異なるハードウェア構成間でのスクリプトの設定と実行を容易にするコマンドラインインターフェース、そして大規模言語モデル(LLM)のマルチデバイス推論を可能にし、パラメータ効率ファインチューニング(PEFT)などの技術で小規模な計算リソースでのLLMトレーニングも支援する「Big Model Inference」機能(device_map="auto")があります。これらの機能により、Accelerateはtransformers、diffusers、peft、trlなど、Hugging Faceのほぼ全てのパッケージの基盤となっています。今回の1.0.0リリース候補版では、FP8サポート(MS-AMP、TransformersEngine)、DeepSpeedを用いた複数モデルのオーケストレーション(実験的)、torch.compileのサポート、torch.distributed.pipelining、torchdata.StatefulDataLoaderなどの統合が進められています。また、PyTorchエコシステムの将来的な変化、特にtorchaoやtorchtitanの台頭、FP8トレーニングの普及、新しい分散シャーディングAPI、FSDPv2への対応を見据え、Accelerateの内部構造やAPIの変更も予定されています。今回のリリース候補版は、正式リリース前にコミュニティが試用し、移行するための機会を提供することを目的としています。pip install --pre accelerate または Dockerイメージ(huggingface/accelerate:gpu-release-1.0.0rc1など)で利用可能です。