Hugging Face Hubにストレージバケットが登場
Introducing Storage Buckets on the Hugging Face Hub
Hugging Faceは、S3互換のオブジェクトストレージである「ストレージバケット」をHugging Face Hubに導入しました。これは、MLアーティファクトの管理を効率化するために設計されており、Xetの技術を基盤としています。Xetはファイルの内容をチャンクに分割し、重複を排除することで、データ転送の高速化とストレージ効率の向上を実現します。バケットはユーザーまたは組織の名前空間下に配置され、標準的なHugging Faceの権限管理、プライベート/パブリック設定、ブラウザでの表示、プログラムからのアクセスが可能です。CLIやPythonライブラリ(huggingface_hub v1.5.0以降)、JavaScriptライブラリ(@huggingface/hub v2.10.5以降)から利用でき、fsspec互換のインターフェースを通じてpandasやDaskなどのライブラリとも連携できます。これにより、チェックポイント、処理済みデータ、エージェントのトレースなどの動的なMLワークロードを効率的に管理し、最終的な成果物をバージョン管理されたリポジトリにプロモートするワークフローを構築できます。AWSおよびGCPとの連携から始まり、将来的には他のクラウドプロバイダーにも対応予定です。料金は既存のHubストレージプランに含まれています。
- Hugging FaceがS3互換のオブジェクトストレージ「ストレージバケット」をHubに導入
Hugging FaceがXetの技術を基盤にS3互換のオブジェクトストレージ「ストレージバケット」を導入したことは、MLアーティファクト管理の効率化とエコシステムの強化に貢献する。特に、重複排除による転送高速化やストレージ効率向上は、大規模MLワークロードを持つ企業にとってコスト削減に直結する。既存のHubストレージプランに料金が含まれている点も、ユーザー獲得において優位に働く。AWS・GCPとの連携開始はクラウドベンダーロックインを回避する動きとして注目される。