ZstandardとPingoraでキャッシュストレージをペタバイト単位で節約する方法

Cloudflareは、メモリコストの急騰に対応するため、キャッシュ容量を拡張する新しいシステム「Cache Transcoding」を開発しました。このシステムは、キャッシュ対象となるアセットをPingoraアーキテクチャ内でZstandard(zstd)でエンコードし、ディスクへの保存時に圧縮します。これにより、CPU使用率のわずかな増加と引き換えに、ストレージ容量とデータセンター間の帯域幅を大幅に節約できます。初期テストでは、対象アセットのディスクサイズが平均で約1/3に縮小しました。ZstandardはFacebookが開発した高速な可逆圧縮アルゴリズムで、圧縮率と速度のバランスに優れています。Cache Transcodingは、HTML、JSON、CSS、JavaScriptなどの圧縮可能なテキストコンテンツに適用され、メディアファイルのような既に圧縮されているコンテンツは対象外となります。対象となるのは、Content-Encodingが設定されておらず、Content-Typeが圧縮可能なテキストで、Content-Lengthが4KiB以上のレスポンスです。この技術により、既存のハードウェアでより多くの顧客コンテンツを保存できるようになり、データセンター間のデータ転送も効率化されます。Cloudflareは今後、より高いzstdレベルの評価や、広範なコンテンツタイプ・オブジェクトサイズのテストを進める予定です。