AWS Inferentia2でLlamaモデルの生成時間を高速化
Make your llama generation time fly with AWS Inferentia2
Hugging Faceは、AWS Inferentia2上でLlama 2モデルを用いたテキスト生成を可能にする🤗 optimum-neuronの統合を発表しました。AWS Neuron Deep Learning AMI (DLAMI)またはAmazon SageMakerのHugging Face Neuron SDK DLCを利用してデプロイできます。モデルはNeuronデバイスで実行する前にコンパイル・エクスポートが必要です。optimum-neuronは、標準的な🤗 transformersモデルをNeuronフォーマットにエクスポートする簡単なAPIを提供します。Llama 2 7Bおよび13Bモデルの複数の設定(バジェット、レイテンシ、スループット重視)がAWS Inferentia2インスタンス上でテストされ、エンコーディング時間、エンドツーエンドレイテンシ、スループットのパフォーマンスが評価されました。特に、inf2.48xlargeインスタンスにデプロイされたモデルは、レイテンシとスループットの両方で優れたパフォーマンスを示しました。バジェットモデルはinf2.xlargeインスタンスでテストされ、ストリーミングユースケースに適したパフォーマンスを示しました。記事では、バッチサイズの増加によるスループット向上や、静的シーケンス長による長文コンテキストの制限といった改善の余地についても言及しています。
- Hugging Face が AWS Inferentia2 上で Llama 2 モデルによるテキスト生成を可能にする optimum-neuron 統合を発表
- Llama 2 7B/13B モデルを AWS Inferentia2 インスタンス上でテストし、inf2.48xlarge でレイテンシとスループットの優れた性能を確認
Hugging Face が AWS Inferentia2 上で Llama 2 モデルのテキスト生成を可能にしたことで、クラウド上の推論最適化が進展した。AWS の独自 AI チップ (Inferentia2) のエコシステムが充実し、GPU 依存度低減とコスト最適化につながる可能性がある。特に inf2.48xlarge インスタンスでレイテンシ・スループットともに優れた性能を確認できた点は、AWS の AI 半導体戦略およびクラウド AI ワークロードの選択肢拡大という観点から注目に値する。