Falcon-H1-Arabic: ハイブリッドアーキテクチャでアラビア語AIの限界を押し広げる

TIIは、最先端のアラビア語大規模言語モデルファミリー「Falcon-H1-Arabic」を発表した。このモデルは、State Space Models (Mamba)とTransformerのAttention機構を統合したハイブリッドアーキテクチャ「Falcon-H1」を採用しており、長文の文脈理解能力と効率性を両立させている。3B、7B、34Bの3つのパラメータサイズで提供され、それぞれ128K、256K、256Kトークンのコンテキストウィンドウを持つ。特に34Bモデルは、70Bクラスのモデルをも上回る性能を示し、アラビア語NLPの新たな標準を確立した。データパイプラインとポストトレーニングプロセスも改善され、方言の網羅性や実用的なタスクへの対応力が強化されている。Open Arabic LLM Leaderboard (OALL)をはじめとする複数のベンチマークで最先端のスコアを達成し、エッジデバイスからエンタープライズアプリケーションまで、様々なユースケースに対応可能である。