Falcon 3 ファミリーのオープンモデルが登場
Welcome to the Falcon 3 Family of Open Models!
Falcon 3 ファミリーは、科学、数学、コード能力の拡張に重点を置いたオープンモデル群です。5つのベースモデル(Falcon3-1B-Base, Falcon3-3B-Base, Falcon3-7B-Base, Falcon3-10B-Base, Falcon3-Mamba-7B-Base)が含まれます。これらのモデル開発では、Transformerベースモデルの単一大規模事前学習(1024 H100 GPU、14兆トークン)、深さスケーリングによる推論能力向上(7Bから10Bへ)、知識蒸留による小型モデルの効率化、State Space Model (SSM) の強化などが革新技術として採用されました。また、Instruct、GGUF、GPTQなどの多様なバリアントも提供されます。Falcon3-10B-Baseは13Bパラメータ以下のモデルで最先端の性能を示し、Falcon3-7B-Baseは9B以下のモデルでトップクラスの性能を誇ります。特に、Falcon3-Mamba-7BはState Space Language Model (SSLM) としてTransformerベースモデルに匹敵する性能と32Kのコンテキスト長をサポートします。数学、コーディング、推論、科学知識などのベンチマークで高いスコアを記録しており、特にFalcon3-10B-BaseはMATH-Lvl5で22.9、GSM8Kで83.0、MBPPで73.8を達成しました。モデルはFalcon LLMライセンスの下で公開され、2025年1月にはマルチモーダル機能(画像、動画、音声)を強化したモデルがリリース予定です。
- Technology Innovation Institute (TII) が Falcon 3 ファミリーのオープンモデル群を公開
- Falcon3-10B-Baseが13Bパラメータ以下のモデルで最先端性能を達成
- Falcon3-Mamba-7BがState Space Language ModelとしてTransformerモデルに匹敵する性能と32Kコンテキスト長をサポート
Falcon 3 ファミリーはオープンLLM分野における重要な競合であり、特にFalcon3-10B-Baseが13B以下のモデルで最先端性能を達成している点は、小規模モデルの性能限界を押し上げ、エッジAIやコスト制約の強い環境での導入加速につながる。またMambaベースのSSLMモデルを投入しTransformer以外のアーキテクチャでも実用水準の性能を示したことで、アーキテクチャ多様化の流れを加速する可能性がある。7B・10Bクラスのオープンモデルが競争力を高めると、API型LLMサービスの価格競争がさらに激化し、バリューチェーン上の勝ち組/負け組が変動するため、投資家はモデル層の差別化要因とエコシステムの変化に注目すべき。