Olmo-core 3: 大規模MoEトレーニングのためのオープンでスケーラブルなトレーニングインフラストラクチャ
Introducing Olmo-core 3: Open, scalable training infrastructure for large MoEs
Olmo-core 3は、大規模言語モデル(LLM)開発のためのフレームワークを大幅にアップグレードしたもので、再設計されたオープンな混合エキスパート(MoE)トレーニングシステムを特徴としています。このシステムは、計算効率を維持しながらMoEトレーニングを兆パラメータ級までスケーリングできるように設計されています。Olmo-core 3は、エキスパートプールを8から128に増やしながらも、トークンあたり4つのエキスパートのみを選択し、アクティブなパラメータ数を約3.2Bに固定したベンチマークで、総パラメータ容量を4.6Bから47Bに増やしつつ、トレーニングスループットの低下を5%未満に抑えました。このインフラストラクチャは、1兆パラメータ超でのベンチマークも達成しています。以前のFSDPベースの実装からDDPベースのシステムに切り替え、エキスパートをGPUに常駐させ、関連データをルーティングすることで、重み収集の繰り返しを回避しています。NVIDIAのMegatron-Coreと比較して、8つのNVIDIA B300 GPUでの470億パラメータMoEのテストでは、新しいスタックで約2.7倍のスループット(52,000トークン/秒/GPU)を達成しました。Olmo-core 3は、エキスパート並列、パイプライン並列、分散オプティマイザなどの技術を組み合わせ、大規模MoEをGPUクラスタ全体に分散させます。また、MXFP8フォーマットをサポートし、BF16と比較してトレーニングスループットを約21%向上させ、ピークアクティブメモリを95GiBに削減しました。1.2兆パラメータモデル(583.6億パラメータアクティブ/トークン)を512 GPUで実行した際の最高スループットは858 TFLOP/s/GPUでした。さらに、DeepEP v2との実験では2.38兆パラメータの構成に到達しました。Olmo-core 3は、次世代Olmoモデルの基盤となり、オープンソースとして提供され、研究者や開発者が独自のMoEをトレーニングしたり、システムをカスタマイズしたりすることが可能です。
- Olmo-core 3は、エキスパートを8→128に増やしつつトークンあたり4エキスパート選択でアクティブパラメータを約3.2Bに固定し、総パラメータ容量を4.6B→47Bへ拡大、スループット低下を5%未満に抑制したMoEトレーニングシステムを公開した。
- NVIDIA Megatron-Coreとの比較で、8基のNVIDIA B300 GPU上の470億パラメータMoEにおいて約2.7倍のスループット(52,000トークン/秒/GPU)を達成した。
- MXFP8フォーマットをサポートし、BF16比でトレーニングスループットを約21%向上、ピークアクティブメモリを95GiBに削減した。
- 1.2兆パラメータモデル(583.6億パラメータアクティブ/トークン)を512 GPUで実行し、最高858 TFLOP/s/GPUのスループットを記録。DeepEP v2との実験では2.38兆パラメータ構成に到達した。
- FSDPベースからDDPベースのシステムへ移行し、エキスパートをGPUに常駐させ関連データをルーティングすることで重み収集の繰り返しを回避。エキスパート並列・パイプライン並列・分散オプティマイザを組み合わせる。
- Olmo-core 3は次世代Olmoモデルの基盤としてオープンソースで提供され、研究者・開発者が独自MoEのトレーニングやシステムカスタマイズを行える。
MoE(混合エキスパート)の大規模学習インフラがオープンソースで提供される点は、学習コスト構造を変え得る重要な材料だ。エキスパート数を8→128に増やしつつアクティブパラメータを約3.2Bに固定、スループット低下5%未満、総容量4.6B→47Bへ拡大という設計は「容量は増やすが計算コストは増やさない」方向性を示す。さらにNVIDIA Megatron-Core比で約2.7倍(52,000トークン/秒/GPU)、MXFP8でBF16比+21%、1.2兆パラメータを512GPUで858 TFLOP/s/GPU、DeepEP v2実験で2.38兆パラメータ到達という数値は、GPU調達量・学習コスト・推論効率の前提を変える可能性がある。オープンソース化は、NVIDIA依存の軟件スタック(Megatron)に対する代替選択肢を生み、クラウド事業者や自社モデル開発企業の差別化要因になり得る。一方で、あくまでベンチマーク段階の技術発表であり、商用サービス化・収益化・導入企業の開示は未確認のため、実需への波及は今後の検証が必要だ。