Meta、オープンLLM「Llama 3」を発表、Hugging Faceで利用可能に
Welcome Llama 3 - Meta's new open LLM
Metaは、オープンアクセスLLMファミリーの次世代モデルであるLlama 3を発表しました。Llama 3は、効率的なデプロイメント向けの8B(80億パラメータ)と、大規模AIネイティブアプリケーション向けの70B(700億パラメータ)の2つのサイズで提供され、それぞれベースモデルとインストラクションチューニング済みモデルのバリアントがあります。さらに、Llama 3 8Bをベースにファインチューニングされた安全チューニングモデル「Llama Guard 2」もリリースされました。Llama 3は、15兆トークン以上のデータで学習され、以前のバージョンから語彙サイズが128,256に拡張された新しいトークナイザーを採用しています。また、8BモデルにはGrouped-Query Attentionが導入されています。Llama 3は、Hugging Faceのエコシステム(Hugging Face Hub、Transformers、Hugging Chat、Inference Endpointsなど)と統合されており、Google CloudやAmazon SageMakerでも利用可能です。ライセンスは、再配布やファインチューニングを許可する一方で、派生モデルには「Llama 3」という名前を付け、派生作品やサービスに「Built with Meta Llama 3」と明記することが求められます。Open LLM Leaderboardでは、Llama 3 70Bが26.37、Llama 3 8Bが13.41のスコアを記録しています。
- MetaがオープンアクセスLLM「Llama 3」(8B/70B)を発表し、Hugging Faceエコシステムで利用可能に
MetaがLlama 3をリリースしたことは、オープンLLMの性能競争をさらに加速させる。15兆トークンでの学習、語彙拡張、GQA導入により、8B/70Bともに前世代から大幅な性能向上を達成しており、Hugging Faceや主要クラウドとの統合も進んでいる。オープンアクセスでありながら商用利用に一定の制約(名称表記要件)を課すライセンスモデルは、Metaのエコシステム戦略を示唆する。Open LLM LeaderboardでLlama 3 70Bが26.37という高スコアを記録したことは、オープンソースLLMの性能上限が着実に上昇している証左であり、AIモデルの民主化・コモディティ化が進む中での投資判断において、エコシステム形成力とユースケース特化型の差別化が重要になることを示している。