Cloudflare、数学とRustを用いて100TBのRAMを節約

Cloudflareは、一貫性ハッシュライブラリpingora-ketamaのメモリ使用量を削減するアルゴリズムの変更により、グローバルで100TBのRAMを節約した。この改善は、サーバーあたりのハッシュ数を90%削減し、Rustの構造体メモリレイアウトを最適化することで達成された。当初、サーバーあたりのハッシュ数が少ないとワークロードの偏りが大きくなるという課題があったが、統計学的な分析と、ハッシュ数を増やすことでこの問題を軽減できることが示された。しかし、ハッシュ数の増加に伴う衝突の可能性を考慮し、最終的にはハッシュ数を減らすことでメモリ使用量を削減するアプローチが取られた。この変更は段階的にロールアウトされ、旧リングと新リングを一時的に併用することで、キャッシュの無効化やオリジンサーバーへの負荷集中を防いだ。この最適化により、Pingora Backend Routerのメモリフットプリントが大幅に削減された。