Hugging Face、ファイルチャンク化によるストレージ効率の向上を発表
From Files to Chunks: Improving HF Storage Efficiency
Hugging FaceのXetチームは、ファイルをチャンク(断片)として保存する新しいストレージ手法を導入し、ストレージ効率とイテレーション速度の向上を目指しています。この手法はコンテンツ定義チャンク化(CDC)と呼ばれ、ファイルの変更部分のみを転送・保存することで、データセットやモデルの更新を効率化します。CDCは、ファイルの内容に基づいて可変サイズのチャンクに分割し、重複するチャンクは一度だけ保存することでストレージ容量を削減します。XetHubでのベンチマークでは、Git LFSと比較してストレージ使用量が50%削減され、ダウンロード時間も大幅に短縮されました。特に、モデルチェックポイントやファインチューニングされたモデルなど、変更が部分的な場合に高い deduplication 効果が期待され、Hugging Face Hub全体で最大100TBのストレージ削減と月間7-8TBの削減が見込まれます。このXetベースのストレージは2025年初頭に一部リポジトリで展開予定です。
- Hugging FaceがXetベースのファイルチャンク化ストレージ手法(CDC)の導入を発表
- CDCによりHugging Face Hub全体で最大100TBのストレージ削減と月間7-8TBの削減が見込まれる
Hugging FaceがXetHubの技術を活用し、コンテンツ定義チャンク化(CDC)によるストレージ最適化を発表した点は注目に値する。AI/ML領域におけるデータセットやモデルチェックポイントの大規模化が進む中、ストレージ効率の改善はプラットフォームの競争力に直結する。最大100TBの削減見込みはHugging Faceのインフラコスト低減に寄与し、ユーザーにとってもダウンロード時間短縮やスムーズなイテレーションが可能になる。ストレージ基盤の変更はユーザーエクスペリエンス向上とプラットフォームロックイン強化の両面で戦略的意義が大きい。