OpenLakeがMLPerf Storage v3.0でLLMトレーニング向けストレージ性能の新記録を樹立
Show HN: We Beat MLPerf: Modern Storage for KV Offload and LLM Training
OpenLakeは、MLPerf Storage v3.0のLlama 3.1 8Bチェックポインティングベンチマークにおいて、書き込み帯域幅6.72 GiB/s、読み込み帯域幅11.55 GiB/sを達成し、MLPerf Storage v3.0の公開されたS3結果の中で最高の性能を示しました。この結果は、OpenLakeのInfinity Core I/O Engineを通じてS3 APIインターフェース経由で達成されました。OpenLakeはio_uringとGPUDirect Storageを搭載した高性能ストレージシステムであり、AIワークロード向けに低遅延・高スループットを実現します。MLPerf StorageはAIトレーニングおよび推論ワークロードにおけるストレージシステムの評価を行う業界標準ベンチマークであり、チェックポインティングワークロードはLlama 3ファミリーのモデルサイズをエミュレートします。今回の結果は、特に大規模言語モデル(LLM)のトレーニングにおけるチェックポイントの書き込み・読み込み性能の重要性を示しており、GPUのアイドル時間を短縮し、リカバリ時間を短縮することで、トレーニングの効率とコスト削減に貢献します。
- OpenLakeはMLPerf Storage v3.0のLlama 3.1 8Bチェックポインティングベンチマークで書き込み帯域幅6.72 GiB/s、読み込み帯域幅11.55 GiB/sを達成し、公開されたS3結果の中で最高性能を示した。
- OpenLakeはio_uringとGPUDirect Storageを搭載したAIワークロード向け高性能ストレージシステムであり、S3 APIインターフェース経由でこの性能を実現した。
AIトレーニング向けストレージ性能はGPU稼働率と直結するため、LLM学習コスト削減の鍵となる分野。OpenLakeが実証したS3インターフェース経由での高性能チェックポインティングは、既存のGPUクラスタ運用におけるストレージボトルネック解消に寄与する可能性があり、AIインフラ関連スタートアップの競争力評価において注目すべき成果である。