PostgresBench: Postgresサービスのための再現可能なベンチマーク
PostgresBench: A Reproducible Benchmark for Postgres Services
ClickHouse社は、マネージドPostgresサービスを評価するためにPostgresBenchというベンチマークツールを開発した。PostgresBenchは、pgbenchツールをベースに、標準的なトランザクションワークロードをシミュレートし、再現可能な方法でマネージドPostgresサービスを比較することを目的としている。ベンチマークは、256クライアント、16スレッド、10分間の実行時間で、2つのスケールファクター(約100GBと約500GB)で実施された。テストでは、TPS、平均レイテンシ、P95レイテンシ、P99レイテンシが測定された。最初のテスト対象には、ClickHouse社提供のPostgres、AWS Aurora PostgreSQL、AWS RDS for PostgreSQL、Neon、Crunchy Bridgeが含まれ、それぞれ異なるインスタンス構成で評価された。特に、ClickHouse社提供のPostgresは、両方のスケールファクターで高いTPSと低いレイテンシを示し、優れたパフォーマンスを記録した。
- ClickHouse社がマネージドPostgresサービスを比較評価するベンチマークツールPostgresBenchを開発・公開した
- ClickHouse社提供のPostgresが、AWS Aurora PostgreSQL、AWS RDS for PostgreSQL、Neon、Crunchy Bridgeを上回るTPSと低レイテンシを記録した
ClickHouse社がPostgresBenchを公開したことは、マネージドPostgres市場における競合サービスの性能比較を透明化し、利用者のサービス選定に影響を与える可能性がある。ClickHouse社が自社提供のPostgresサービスがAWS AuroraやRDS、Neon、Crunchy Bridgeを上回るパフォーマンスを示した点は、同社の差別化材料として競争上有利に働き、クラウドデータベース市場における勢力図に影響を与え得る。ベンチマークの再現性を重視した手法は、業界標準のベンチマーク手法としての普及も期待され、データベース業界全体の透明性向上につながる。