Transformers v5: AIエコシステムを支えるシンプルなモデル定義

Hugging FaceのTransformersライブラリがv5にアップデートされ、インストール数が1日あたり300万回(v4の20,000回から増加)を超え、累計12億インストールを突破しました。モデルアーキテクチャはv4の40種類から400種類以上に拡大し、コミュニティによるモデルチェックポイントは75万件以上に増加しました。v5では、シンプルさ、トレーニング、推論、プロダクションに重点が置かれ、特にモデル統合のコードをクリーンに保つことで、エコシステム全体での標準化、汎用性、サポートの拡大を目指しています。また、PyTorchを唯一のバックエンドとし、Flax/TensorFlowのサポートは終了します。トレーニング機能では、大規模な事前学習(pre-training)への対応を強化し、推論機能では、連続バッチ処理やページドアテンション、`transformers serve`といった新APIを導入しました。v5のテーマは「相互運用性」であり、Unsloth、Axolotl、vLLM、SGLang、llama.cpp、executorch、MLXなど、エコシステム全体との連携を強化しています。量子化もv5でファーストクラスの機能となり、TorchAOやbitsandbytesとの連携により、8ビットや4ビット形式のモデルサポートが強化されました。