A.I.AI
単一のRTX 6000 ProでQwen3.8-Flash-Next NVFP4を184 tok/sで実行
Running Qwen3.8-Flash-Next NVFP4 at 184 tok/s on a single RTX 6000 Pro
YHacker News
AIが原文を翻訳・要約しています
エネルギーから推論への変換効率向上を目的に、NVFP4量子化と専用カーネルを組み合わせた最適化モデルが公開された。コーディング向けの「Qwen3.8-Flash-Next NVFP4」は単一のRTX 6000 Pro(96GB VRAM)環境において、同時実行数1で約184 tok/s、同時実行数4で約334 tok/sのデコード性能を記録し、セルフホスト時のコストは100万出力トークンあたり0.01米ドル未満に抑えられる。また、コンシューマー向け「Qwen3.8-27B NVFP4 NInfer」はRTX 5090(32GB VRAM)等に対応し、同時実行数4で約686 tok/sを達成している。
KEY POINTS要点記事から抽出した重要情報
- NVFP4量子化と専用カーネルを組み合わせた「Qwen3.8-Flash-Next NVFP4」が公開され、単一のRTX 6000 Pro環境で最大約334 tok/sを記録し、セルフホスト時のコストが100万出力トークンあたり0.01米ドル未満に抑えられることが示された。
- コンシューマー向け「Qwen3.8-27B NVFP4 NInfer」が公開され、RTX 5090等の環境において同時実行数4で約686 tok/sを達成した。
CONTEXT文脈編集部による背景整理
NVFP4量子化と専用カーネルによる最適化により、単一GPUや民生用ハイエンドGPU上でのLLM推論速度が大幅に向上し、セルフホストコストが100万トークンあたり0.01ドル未満まで圧縮されています。推論コストの劇的な低減はAIサービスの事業採算性を大幅に改善し、エッジやローカル推論の普及を加速させる重要な進展です。
原文を読むAnalyzed at 2026年10月27日 20:02