290B+フロンティアMoEモデルをゲーミングPCでローカル実行可能に
Run 290B+ frontier MoE models locally on your gaming PC
FlashMLは、個人およびコンシューマー向けハードウェアで大規模なオープンウェイトモデルを実行するためのエッジネイティブMoEサービングエンジン「FreeToken」を発表しました。FreeTokenは、GPU、CPU、ホストメモリ、インターコネクトなどの異種エッジリソースを統合された推論プラットフォームとして扱います。主な機能として、帯域幅適応型CPU–GPU協調実行、グローバルLRUエキスパートキャッシュ、意味論的アンカーチェックポイントによるエージェントコンテキスト編集、エキスパートキャッシュとKVメモリ間のVRAM動的再割り当て、およびMXFP4、NVFP4、FP8、BF16などの量子化フォーマットをサポートします。DeepSeek-V4-Flash、Qwen3.6-35B-A3B、GLM-5.2などのフロンティアオープンウェイトMoEモデルに対応し、Anthropic/OpenAI互換APIを提供します。NVIDIA RTX 30、40、50シリーズGPUをネイティブサポートし、WindowsおよびLinux向けにGUI付きで提供されます。論文はarXiv:2608.16157で公開されており、mini-sglang、SGLang、vLLM、FlashInferなどのプロジェクトから着想を得ています。
- FlashMLがエッジネイティブMoEサービングエンジン「FreeToken」を発表し、290B規模のフロンティアMoEモデルをコンシューマーGPU上でローカル実行可能にした
- FreeTokenはDeepSeek-V4-Flash、Qwen3.6-35B-A3B、GLM-5.2などのフロンティアオープンウェイトMoEモデルに対応し、NVIDIA RTX 30/40/50シリーズGPUをネイティブサポートする
- FreeTokenはMXFP4、NVFP4、FP8、BF16などの量子化フォーマットをサポートし、VRAM動的再割り当てや帯域幅適応型CPU-GPU協調実行などの機能を持つ
エッジネイティブMoE推論エンジンの登場は、大規模オープンウェイトモデルの実行環境がクラウド中心から個人/コンシューマーハードウェアへ拡張される転換点を示す。DeepSeekやQwenなどのフロンティアMoEモデルをコンシューマーGPUで動かせることは、AI推論市場の分散化とエッジコンピューティング投資の拡大を示唆しており、投資家としてはGPUベンダーとの親和性、エッジAI市場の成長余地に注目すべき。