Hugging Face、LFSからXetストレージへのリポジトリ移行を完了し、ダウンロードトラフィックの約6%をXetインフラへ

Hugging Faceは、モデルおよびデータセットリポジトリをLFS(Large File Storage)からXetストレージへ移行する最初のステップを完了しました。この移行により、ハブのダウンロードトラフィックの約6%がXetインフラにシフトし、Xetストレージの主要コンポーネントの有効性が証明されました。Xetストレージは、ファイルレベルでの重複排除を行うLFSとは異なり、バイトレベル(約64KBチャンク)での重複排除を行うコンテンツ定義チャンキング(CDC)を採用しており、ParquetファイルやGGUFモデルの小さな変更でも変更されたチャンクのみを転送するため、大規模ファイルの転送効率が大幅に向上します。例えば、5GBのSQLiteデータベースの更新において、LFSでは全体を再アップロードする必要があるのに対し、Xetでは1MBの追加データのみを転送するため、アップロード時間が13分から0.1秒に短縮されます。移行プロセスでは、CAS(Content Addressed Store)がクライアントに返すデータ量の4倍のデータをダウンロードする問題や、CASクラスター内での予期せぬ負荷不均衡といった課題が発生しましたが、ブロックフォーマットの更新やロードバランサーのルーティングアルゴリズム変更、一時ファイルの書き込み方法の改善などにより解決されました。これらの課題解決を通じて、Xetストレージはより堅牢になり、Hugging Faceコミュニティ全体で高速なアップロード、ボトルネックの削減、最小限の遅延を実現します。今後は、`huggingface_hub`との公式連携や`hf_xet` Pythonパッケージの提供を通じて、既存のワークフローを変更することなくXetのメリットを享受できるようになる予定です。