Falcon Mamba: 初の強力なアテンションフリー7Bモデルが登場
Welcome Falcon Mamba: The first strong attention-free 7B model
Falcon Mambaは、アテンションメカニズムに依存しない初の7Bパラメータモデルであり、シーケンス長に関わらず一定の計算量で推論が可能なState Space Language Model (SSLM) アーキテクチャに基づいています。このモデルは、従来のTransformerモデルと比較して、長いシーケンスの処理能力と推論速度において優位性を示します。具体的には、メモリ使用量や生成スループットの面で、特にシーケンシャルプリフィル(逐次的なプロンプト処理)において、任意長のプロンプトを処理できる能力を持ちます。Falcon Mambaは、RefinedWebデータと高品質な技術・コードデータを組み合わせて約5500GTのデータで学習されました。Hugging Faceのtransformersライブラリ(バージョン4.45.0以降)で利用可能であり、bitsandbytesによる量子化やtorch.compileによる高速化にも対応しています。さらに、指示チューニングされたバージョンも提供されており、デモサイトで試用できます。
- TIIがアテンションフリーの7BパラメータSSLMモデルFalcon Mambaを公開
- Falcon MambaがHugging Face transformers 4.45.0以降で利用可能に
Falcon Mambaは、アテンションメカニズムを用いないSSLMアーキテクチャを採用した初の7Bパラメータ規模のモデルであり、長いシーケンス処理においてTransformerに比べてメモリ・スループット面で優位性を示す。従来のTransformer系LLMが抱えるO(n2)の計算コスト課題を回避するアプローチとして注目に値し、推論コストの削減や長文処理の実用性向上に寄与する可能性がある。オープンウェイトで提供される点も、周辺エコシステムへの波及効果の観点で投資検討材料となる。