Hugging Face、アップロードとダウンロードのインフラ再構築を発表
Rearchitecting Hugging Face Uploads and Downloads
Hugging Faceは、AIモデルやデータセットのファイルサイズ増大に対応するため、アップロード・ダウンロードアーキテクチャの再構築を発表した。現在のCDN(AWS CloudFront)は50GBのファイルサイズ制限があり、大規模モデル(例: meta-llama/Meta-Llama-3-70B、131GB)の転送に課題がある。新アーキテクチャでは、コンテンツアドレスストア(CAS)を導入し、バイトレベルでのファイル分析による転送速度の向上を目指す。読み込みパスはシンプルさと低遅延を優先し、書き込みパスはチャンク単位での重複排除や圧縮によりアップロード速度とセキュリティを強化する。CASノードは、トラフィックの大部分を占める北米、欧州、アジアの主要地域(us-east-1、eu-west-3、ap-southeast-1)に配置される予定。これにより、全体的な帯域幅を削減しつつ、ユーザーエクスペリエンスを維持・向上させる。2024年末までに本番環境への移行を目指しており、将来的にはモデルの利用用途や地理的トレンドに基づいた分析も行う計画である。
- Hugging FaceがAIモデル・データセットのファイルサイズ増大に対応するため、アップロード・ダウンロードアーキテクチャの再構築を発表
- 2024年末までに新アーキテクチャの本番環境移行を目標として計画
Hugging FaceがMLOps/AI基盤の中核プレイヤーとして、CDNの制約(50GB制限)を超えるために独自のコンテンツアドレスストア(CAS)を構築する決断を下した点が重要。現在のAWS CloudFront依存からの脱却を部分的に意味し、大規模AIモデル(100GB超)の転送効率改善は、LLM普及のインフラ障壁を取り除く動き。北米・欧州・アジアの3リージョンにCASノードを配置する計画は、グローバルなAIモデル流通の最適化を示唆。投資家としては、Hugging Faceのプラットフォーム価値向上がエコシステム全体の活性化につながるか注視したい。