Hugging Face Hub、Git LFSからXetへの大規模移行を完了

Hugging Face Hubは、100万人以上のユーザーが利用するXetへの移行を完了しました。この移行は、Git LFSブリッジとバックグラウンドでのデータ移行インフラにより、数日間でペタバイト級のデータを処理し、ユーザーへの影響を最小限に抑えながら行われました。移行にあたり、「ハードカットオーバーなし」「XetとLFSファイルを同一リポジトリに混在可能」「ロック不要」といった設計上の決定がなされました。Xet対応クライアントでは、ファイルはチャンクに分割されてアップロードされ、CAS(Content Addressed Store)にS3経由で保存されます。ダウンロード時には、CASがS3から必要なチャンク情報を提供し、クライアントがファイルを再構築します。非対応クライアント向けには、Git LFSブリッジがLFSプロトコルを模倣し、S3からファイルを再構築して提供します。バックグラウンド移行プロセスは、ウェブフックとキューシステムを利用し、リポジトリの有効化、LFSリビジョンの取得、ファイルのバッチ処理、移行ワーカーによるダウンロードとXetへのアップロードを行います。移行中に発生したディスク容量不足やCASの負荷超過といった問題は、xet-coreの修正、CASのスケールアップ、ワーカーノードのスペック強化によって解決されました。bartowski、RichardErkhov、mradermacherといった大規模ユーザーの移行を通じて、CASのスループットは大幅に向上し、mradermacherとRichardErkhovの移行時にはピークで約300Gb/sを達成しました。今後は、Xetプロトコルとインフラ全体のオープンソース化が予定されています。