Meta、Hugging FaceでLlama 2を発表
Llama 2 is here - get it on Hugging Face
Metaは、最先端のオープンアクセス大規模言語モデルファミリーであるLlama 2を発表しました。Hugging Faceは、包括的な統合によりこのローンチをサポートします。Llama 2は、商用利用可能な非常に寛容なコミュニティライセンスでリリースされ、コード、事前学習済みモデル、ファインチューニング済みモデルがすべて公開されます。Hugging Face Hubでは、12のオープンアクセスモデル(3つのベースモデルと3つのファインチューニング済みモデル、およびそれに対応するトランスフォーマーモデル)が利用可能です。Llama 2は、7Bから70Bパラメータの範囲で、Llama 1モデルと比較して40%多くのトークンで学習され、コンテキスト長は4kトークン、70Bモデルには高速推論のためのグループ化クエリAttentionが採用されています。特に、対話アプリケーション用に人間からのフィードバック(RLHF)による強化学習で最適化されたLlama 2-Chatモデルは、多くのベンチマークでオープンモデルの中で優れた性能を示し、人間による評価ではChatGPTに匹敵する性能を達成しています。Hugging Faceは、モデルカードとライセンスを備えたモデルの提供、トランスフォーマー統合、単一GPUでの小規模モデルのファインチューニング例、Text Generation InferenceおよびInference Endpointsとの統合を提供します。また、QLoRAとSFTTrainerを使用したLlama 2の効率的なトレーニングとファインチューニングのためのスクリプトも提供されています。Llama 2のプロンプトテンプレートとシステムプロンプトのカスタマイズ方法についても説明されています。
- Metaがオープンアクセス大規模言語モデルファミリーLlama 2を発表
- Hugging FaceがLlama 2の包括的な統合(モデル提供、Transformers統合、推論・ファインチューニングツール)を発表
MetaがLlama 2をオープンアクセスかつ商用利用可能なライセンスで公開したことは、大規模言語モデルの民主化と競争環境を大きく変える出来事である。特にLlama 2-ChatがChatGPTに匹敵する性能をオープンモデルで達成した点は、プロプライエタリなLLM市場に価格競争をもたらす可能性が高い。Hugging Faceとの緊密な統合により開発者の導入障壁が低く抑えられており、周辺ツール(Text Generation Inference、Inference Endpoints、QLoRA連携)も同時公開されたことでエコシステム全体の活性化が期待される。投資家としては、Metaがオープン戦略でAI分野のプラットフォーム標準を獲得しようとしている点、およびHugging Faceのプラットフォーム価値がさらに高まる点に注目すべきである。