Hugging Face、Metaと共同でLlama 4 MaverickおよびScoutを発表
Welcome Llama 4 Maverick & Scout on Hugging Face
Hugging FaceはMetaと協力し、新世代のネイティブマルチモーダルモデルであるLlama 4 MaverickとLlama 4 Scoutを発表しました。Llama 4 Maverickは、約400Bの総パラメータのうち17Bのアクティブパラメータと128のエキスパートを持ち、Llama 4 Scoutは、約109Bの総パラメータのうち17Bのアクティブパラメータと16のエキスパートを持ちます。両モデルはテキストと画像を処理できるネイティブマルチモーダル機能を備え、200言語(12言語でファインチューニングサポートあり)の最大40兆トークンで学習されました。Llama 4 Scoutはオンザフライの4ビットまたは8ビット量子化により単一のサーバーグレードGPUに収容可能で、MaverickはBF16およびFP8形式で利用可能です。モデルはカスタムLlama 4コミュニティライセンス契約の下でリリースされ、Hugging Face Hubのmeta-llama組織でモデルチェックポイントが利用可能です。transformers v4.51.0以降およびText Generation Inference (TGI)との統合も提供されます。Llama 4モデルは256Kのコンテキスト長で事前学習され、インストラクトモデルはMaverickで1M、Scoutで10Mのコンテキスト長をサポートします。アーキテクチャの革新には、NoPEレイヤー、チャンクドアテンション、アテンション温度チューニング、QK正規化、MoEインターリービング、コ・ディスティレーション、MetaPが含まれます。評価結果では、インストラクトチューニングされたMaverickはMMLU Proで80.5%、GPQA Diamondで69.8%、Scoutはそれぞれ74.3%、57.2%を達成し、Llama 3.1 405Bを上回る性能を示しています。
- Hugging FaceとMetaがLlama 4 MaverickおよびScoutをオープンウェイトで公開
Hugging FaceとMetaによるLlama 4 Maverick/Scoutの発表は、オープンウェイトのマルチモーダルLLMにおいて大きな前進を示す。特にMaverickは17BのアクティブパラメータでMMLU Pro 80.5%を達成し、Llama 3.1 405Bを上回る性能対効率を示した点は、エッジ/オンプレミス展開を志向する企業にとってコスト構造を大きく変えうる。またScoutは量子化により単一GPUで動作可能であり、大規模言語モデルの民主化が加速するシグナルと捉えられる。投資家としては、このクラスの性能がオープンソースで利用可能になることで、AIアプリケーション層のスタートアップやGPU需要の構造に中長期的な影響を与える可能性に注目すべき。