SkyPilotとHugging Faceが連携、マルチクラウドでのAIワークロード実行とゼロアウトバウンド転送料金ストレージを実現
Run AI workloads on any cloud, store on Hugging Face: zero-egress storage with SkyPilot
SkyPilotとHugging Faceは連携し、AIモデルやデータセットをHugging Face Hub上に保持したまま、SkyPilotが任意のクラウド上のGPUクラスターで開発、トレーニング、サービングを実行できるようにした。Hugging Faceのhf://URLとHF_TOKENを使用することで、Hugging FaceのバケットやリポジトリをSkyPilotジョブにマウントでき、データへのアクセスにアウトバウンド転送料金がかからない。これにより、AIワークロードを複数のクラウドに分散させ、データ転送料金を削減できる。Hugging Face StorageはXet技術を基盤としており、チェックポイントやモデルのバリアントの差分のみを保存・転送する重複排除機能も備えている。この連携は、AWS、GCP、Lambdaなどの複数のクラウドで同一のSkyPilot YAML設定を使用し、モデルのロードやチェックポイントの保存を無料で行えることを実証したベンチマーク結果も示されている。
- SkyPilotとHugging Faceが連携し、Hugging Face Hub上のAIモデルやデータセットを任意のクラウド上のGPUクラスターで実行可能に
- Hugging Faceのストレージに対するアウトバウンド転送料金がゼロになり、マルチクラウドでのAIワークロード実行時のデータ転送コストを削減
- Hugging Face StorageはXet技術を基盤とし、チェックポイントやモデルの差分のみを保存・転送する重複排除機能を持つ
Hugging Faceがマルチクラウド戦略を加速させている点に注目。自社ストレージへのアウトバウンド転送料金を無料にすることで、AIモデルのトレーニング/推論ワークロードをクラウド間で自由に移動できるエコシステムを形成しつつある。Xet技術による重複排除もデータ転送効率を高め、AI/MLOps領域でのHugging Faceのプラットフォーム価値向上に寄与する。SkyPilotとの連携はマルチクラウドGPUオーケストレーションの実用性を高め、AIインフラ領域での各クラウドプロバイダーの競争環境にも影響を与えうる。