Nemotron-Labs Diffusion:光速テキスト生成を目指す拡散言語モデル
Towards Speed-of-Light Text Generation with Nemotron-Labs Diffusion Language Models
Nemotron-Labs Diffusionは、従来のトークンごとの逐次生成(autoregressive, AR)方式とは異なり、複数のトークンを並列生成し、複数ステップで洗練していく拡散言語モデル(DLM)を発表した。この方式は、GPUの計算能力をより活用し、実行時パフォーマンスを向上させるだけでなく、生成されたトークンを修正できるため、既存テキストの修正や「fill-in-the-middle」タスクに適している。また、推論時の計算予算を制御する機能も備えている。このモデルファミリーには、3B、8B、14Bのテキストモデルと8Bのビジョン言語モデル(VLM)が含まれ、いずれも商用利用可能なライセンスで提供される。さらに、ARモード、ブロックごとの生成を行う拡散モード、拡散で候補を生成しARで検証する自己推測モードの3つの推論モードをサポートし、開発者はアプリケーションレベルでの変更なしにモードを切り替えられる。8Bモデルは、Qwen3 8Bと比較して平均精度が1.2%向上し、拡散モードではARモデルより2.6倍、自己推測モードでは最大6.4倍のトークン生成効率(TPF)を達成する。このモデルは、既存のARモデルに拡散能力を追加するアプローチで開発され、1.3兆トークンで事前学習された後、450億トークンでファインチューニングされている。
- Nemotron-Labsが拡散言語モデル(DLM)「Nemotron-Labs Diffusion」を発表した。
- 3B、8B、14Bのテキストモデルと8Bのビジョン言語モデル(VLM)が商用利用可能なライセンスで公開された。
NVIDIA傘下のNemotron-Labsが従来の逐次生成方式から脱却し、複数トークンを並列生成・洗練する拡散言語モデル(DLM)を発表した点は、LLMの推論効率を劇的に変える可能性がある。特に、同じハードウェア上でARモード比で最大6.4倍のトークン生成効率(TPF)を達成し、かつ既存ARモデルへの拡散能力追加によって開発されているため、ファインチューニング資産を活かせる点が実用的。8BモデルでQwen3 8Bを精度面で上回っていることも競争力の証左。商用利用可能なライセンスで提供されるため、エンタープライズ向けLLM推論のコスト削減やリアルタイムアプリケーションへの応用が期待される。