IBM、大規模モデルに匹敵する性能を持つGranite 4.1 LLMファミリーを発表
Granite 4.1 LLMs: How They’re Built
IBMは、3B、8B、30Bのパラメータを持つGranite 4.1 LLMファミリーを発表しました。このモデル群は、約15兆トークンで学習され、最大512Kトークンの長文コンテキスト拡張機能を備えています。さらに、約410万件の高品質なキュレーション済みサンプルを用いた教師ありファインチューニングと、DAPO損失を用いたオンポリシーGRPOによる強化学習で洗練されています。特に、8Bのインストラクトモデルは、よりシンプルな密なアーキテクチャと少ないパラメータ数にもかかわらず、以前の32BパラメータのMoEモデルであるGranite 4.0-H-Smallに匹敵またはそれを上回る性能を示しました。Granite 4.1モデルはApache 2.0ライセンスで公開されており、fp8量子化版も提供され、推論時のディスクフットプリントとGPUメモリ使用量を約50%削減します。学習はNVIDIA GB200 NVL72クラスターで行われました。
- IBMがGranite 4.1 LLMファミリー(3B/8B/30Bパラメータ)を発表・公開
- 8Bパラメータのインストラクトモデルが、以前の32B MoEモデル(Granite 4.0-H-Small)に匹敵または上回る性能を達成
- モデルはApache 2.0ライセンスで公開、fp8量子化版も提供
IBMが公開したGranite 4.1ファミリーは、よりコンパクトな密アーキテクチャでありながら、以前のMoEモデルを上回る性能を示した点が注目に値する。8Bパラメータで32BのMoEに匹敵するということは、推論コスト・消費電力・レイテンシの面で大きな優位性を持つ。Apache 2.0ライセンスでオープンに公開し、fp8量子化版でメモリ使用量を約50%削減していることから、エンタープライズ用途での導入障壁を大幅に下げる意図が伺える。NVIDIA GB200 NVL72での大規模学習実績も、IBMとNVIDIAの協業関係を裏付ける材料であり、IBMのAI戦略の現実味と競争力を示している。