Meta、Llama 3.1を発表:405B、70B、8Bモデル、多言語対応、長文コンテキスト機能強化

Metaは、Llama 3.1として8B、70B、405Bパラメータの3つのサイズの新しいオープンLLMモデルを発表しました。これらのモデルは、ベースモデルとインストラクトチューニング版があり、それぞれ128Kトークンのコンテキスト長と8言語(英語、ドイツ語、フランス語、イタリア語、ポルトガル語、ヒンディー語、スペイン語、タイ語)に対応しています。また、プロンプトインジェクションやジェイルブレイクを検出するPrompt Guardと、LLMの入出力を分類するLlama Guard 3という2つの新しいセーフガードモデルもリリースされました。Llama 3.1は、前モデルの機能に加え、128Kトークンのコンテキスト長、多言語対応、ツール使用能力、4050億パラメータの大規模モデル、より寛容なライセンスが特徴です。インストラクトモデルは、エージェントユースケースのためにツールコーリングでファインチューニングされており、カスタムJSON関数呼び出しもサポートします。トレーニングには15兆トークン以上が使用され、GPU時間は8Bモデルに146万時間、70Bモデルに700万時間、405Bモデルに3084万時間が費やされました。ライセンスは、モデル出力を使用して他のLLMを改善することを許可しており、合成データ生成や蒸留が可能になります。推論には、モデルサイズと精度(FP16、FP8、INT4)に応じて、8Bモデルで8GB〜16GB、70Bモデルで70GB〜140GB、405Bモデルで405GB〜810GBのVRAMが必要です。ファインチューニングには、LoRAやQLoRAなどの手法でさらに少ないメモリで実行可能です。Hugging Face Transformersとの統合も強化されており、最新バージョン(4.43.2以降)でLlama 3.1モデルを利用できます。Metaは、FP8、AWQ、GPTQなどの量子化された405Bモデルも提供しており、これらは推論速度の向上やメモリ使用量の削減に役立ちます。Hugging Face PROユーザーは、Llama 3.1 InstructモデルをホストするAPIエンドポイントにアクセスできます。