Amazon SageMaker 上での Llama 2 ベンチマーク
Llama 2 on Amazon SageMaker a Benchmark
Amazon SageMaker 上で Llama 2 を Hugging Face LLM Inference Container を用いてデプロイする際の、60種類以上の設定を分析した包括的なベンチマーク結果が公開された。このベンチマークでは、Llama 2 の 7B、13B、70B パラメータモデルを、g5.2xlarge、g5.12xlarge、g5.48xlarge (NVIDIA A10G GPU搭載)、p4d.24xlarge (NVIDIA A100 40GB GPU搭載) の4種類の EC2 インスタンスタイプで、1、5、10、20 の同時リクエスト数、および GPTQ による量子化の有無でテストし、レイテンシ (ms/token) とスループット (tokens/sec) を測定した。最もコスト効率の良いデプロイメントとしては、Llama 2 13B モデルを GPTQ 量子化し、g5.2xlarge インスタンスで 5 の同時リクエストで実行した場合、71 tokens/sec を $1.52/h で実現した。最高のスループットは、Llama 2 13B モデルを ml.p4d.24xlarge インスタンスで 20 の同時リクエストで実行し、668 tokens/sec を達成した。最低レイテンシは、Llama 2 7B モデルを ml.g5.12xlarge インスタンスで 1 の同時リクエストで実行し、16.8 ms/token を達成した。これらの結果は、コスト、スループット、レイテンシの優先度に応じて最適な Llama 2 のデプロイメント戦略を企業が選択するのに役立つ。
- Amazon SageMaker上でのLlama 2デプロイに関する60種類以上の設定を分析した包括的なベンチマーク結果が公開された
本記事は、Amazon SageMaker上でのLlama 2デプロイメントに関する包括的なベンチマーク結果を公開したものであり、企業がコスト・スループット・レイテンシのトレードオフを定量的に比較できる具体的なデータを提供している。特に、GPTQ量子化によってg5.2xlargeのような低コストインスタンスでも実用的な性能が得られる点は、LLM推論の運用コスト低減に関心のある投資家にとって重要な示唆となる。AWS上でのLLMインフラ最適化の進展は、AIサービス企業の収益構造やクラウド需要の拡大に直結するテーマである。