TII、110億パラメータの言語モデルとVLM「Falcon 2」を発表、5兆トークン超と11言語で学習
Falcon 2: An 11B parameter pretrained language model and VLM, trained on over 5000B tokens and 11 languages
TII(Technology Innovation Institute)は、オープンソースコミュニティ向けに、性能向上とマルチモーダル対応を強化した小規模モデルの新世代「Falcon 2」を発表しました。第一弾として、110億パラメータの事前学習済み言語モデル(LLM)と、画像理解能力を持つビジョン・言語モデル(VLM)が登場します。Falcon 2 11B LLMは、5兆トークン超の高品質なウェブデータセット「RefinedWeb」とキュレーションされたコーパスで学習され、4段階のトレーニング戦略によりコンテキスト長を最大8192トークンまで拡張しました。モデルは主に英語をサポートしますが、スペイン語、フランス語、ドイツ語を含む10言語に対応しています。Falcon 2 11B LLMは、Hugging FaceのOpen LLM Leaderboardで、より多くのデータで学習されたLlama3-8Bを上回り、Gemma-7Bと同等の性能を示しました。また、多言語LLMリーダーボードでは、Falcon-40Bや他の多言語モデルを上回る性能を複数の言語で示しています。Falcon 2 11B VLMは、CLIP ViT-L/14ビジョンエンコーダーとFalcon 2 11Bチャットファインチューニングモデルを統合し、画像入力に対応して画像に関する質問に回答できます。モデルはApache 2.0ベースの「TII Falcon 2 License」の下で提供されます。
- TIIが110億パラメータのLLM「Falcon 2 11B」とVLMを発表
TIIがFalcon 2 11Bを発表した点は、中東発のAI研究機関がLlama 3やGemmaと同等以上の性能を持つ小規模LLMをオープンソースで提供したという競合構図の変化が注目される。また、CLIP ViTを用いたVLMへの拡張や多言語対応(11言語)も実用面で強みとなる。Apache 2.0ベースのライセンスで提供されるため企業利用のハードルが低く、エンタープライズ向けLLM導入の選択肢が増えることで、既存の大手プラットフォーマーにとっては競争圧力となりうる。