S3上のライトアヘッドログ:互換性はパフォーマンスではない
Write-Ahead Logs on S3: Compatibility Is Not Performance
この記事は、S3互換オブジェクトストレージ上でライトアヘッドログ(WAL)を運用する際のパフォーマンスに関するベンチマーク結果を報告しています。Cursorの「Git at Any Scale」ブログ投稿で注目されたこのアーキテクチャは、S3の条件付き書き込み(ETagベースのCAS)を利用して、ディスクやコンセンサスノードなしで耐久性があり、リーダーレスで、無限に保存可能なWALを実現するというものです。しかし、S3 API互換性が必ずしも高いパフォーマンスを保証するわけではなく、WALのような小規模でレイテンシに依存し、厳密に直列化された条件付き書き込みが多用されるワークロードは、オブジェクトストアにとって最適ではありません。ベンチマークでは、AWS S3、AWS S3 Express One Zone、Tigris、Cloudflare R2の4つのプロバイダーを対象に、同一のWALワークロードでテストが行われました。結果として、AWS S3 Express One Zoneが最も高いパフォーマンスを示しましたが、単一アベイラビリティゾーン(AZ)に限定されます。AWS S3はマルチAZでバランスの取れた性能を発揮し、TigrisはS3に近いスループットとゼロ・イーグレス料金が特徴です。Cloudflare R2は、WALシリアライゼーションや小規模書き込みの遅さが課題となり、このワークロードには不向きと評価されました。特に、コスト面では、AWSのイーグレス料金が大きな負担となることが示され、TigrisやR2のようなゼロ・イーグレスサービスが有利になる場合があることが指摘されています。最終的な選択は、レイテンシ、耐久性、コスト、AZ構成などのプロジェクトの要件によって異なると結論付けています。
- AWS S3、AWS S3 Express One Zone、Tigris、Cloudflare R2の4プロバイダーで同一のWALワークロードによるベンチマークが実施され、AWS S3 Express One Zoneが最高性能を示す一方、単一AZに限定されるという結果が報告された。
- Cloudflare R2はWALシリアライゼーションや小規模書き込みの遅さにより、このワークロードには不向きと評価された。
- AWSのイーグレス料金が大きなコスト負担となり、TigrisやR2のようなゼロ・イーグレスサービスがコスト面で有利になる場合があると指摘された。
- Cursorの「Git at Any Scale」投稿で注目されたS3ベースのWALアーキテクチャは、S3の条件付き書き込み(ETagベースのCAS)を利用し、ディスクやコンセンサスノードなしで耐久性を持つリーダーレスWALを実現するものとされた。
本記事は、S3互換オブジェクトストア上でライトアヘッドログ(WAL)を運用する際のパフォーマンス・コスト特性を、AWS S3、AWS S3 Express One Zone、Tigris、Cloudflare R2の4プロバイダーを実ベンチマークで比較した点が投資判断上有用です。S3 API互換性はパフォーマンス保証を意味せず、WALのような直列化・低レイテンシ要求のワークロードではプロバイダー間で大きな性能差が生じることが実証されており、クラウドストレージ選定やマルチクラウド戦略の再考につながります。特に、AWSのイーグレス料金のコスト負担は、TigrisやR2のようなゼロ・イーグレスサービスへのシフトを促す要素であり、データ基盤系スタートアップのクラウドコスト構造や競争環境を評価するうえで重要な示唆を含んでいます。