Bamba-9B: IBMらが開発した推論効率の高いハイブリッドMamba2モデル
Bamba: Inference-Efficient Hybrid Mamba2 Model
IBM、プリンストン大学、CMU、UIUCが共同で開発した「Bamba-9B」は、推論効率の高いハイブリッドMamba2モデルです。このモデルは、標準的なTransformerモデルと比較して、vLLM環境下で推論スループットが2.5倍、レイテンシが2倍向上します。Bamba-9Bは2.2兆トークンで学習され、TransformerモデルのKVキャッシュボトルネック問題を解決するMambaアーキテクチャを基盤としています。Hugging Faceのtransformers、vLLM、TRL、llama.cppといったライブラリで利用可能であり、学習・チューニング用スクリプトも公開されています。評価では、特に数学やMMLUなどのベンチマークで課題が見られるものの、学習データ量やデータセットの質を向上させることで改善が見込まれます。また、NVIDIAのハイブリッドMamba2モデルと比較して、レイヤー数やアテンション層数などに違いがあり、RoPE埋め込みの導入が特徴です。fp8量子化による精度低下は軽微であり、長文コンテキスト拡張の実験でも有望な結果を示しています。
- IBM、プリンストン大学、CMU、UIUCが共同でハイブリッドMamba2モデル「Bamba-9B」を開発・公開
- Bamba-9BがHugging Face transformers、vLLM、TRL、llama.cppで利用可能になり、学習・チューニング用スクリプトも公開された
IBMらが開発したBamba-9Bは、TransformerのKVキャッシュボトルネックを解消するハイブリッドMamba2アーキテクチャを採用し、vLLM環境下で推論スループット2.5倍・レイテンシ2倍改善を達成した点が注目に値する。大規模言語モデルの推論コスト削減はAI普及の鍵であり、本モデルがHugging Face transformersやvLLM、llama.cppで即利用可能であることは、エンタープライズAIにおける推論最適化の新たな選択肢を示唆する。IBMのAI戦略とオープンソースエコシステムへの貢献度を測る上で重要な成果と言え、投資家は同社のAI領域での競争力強化と、関連する推論インフラ市場への影響を注視すべきである。