Redis開発者によるローカルLLM実行ツール「ds4」が登場
From the creator of Redis; run LLM locally with ds4
Redis開発者が、ローカル環境で大規模言語モデル(LLM)を実行するためのC言語ベースの推論エンジン「DwarfStar 4(ds4)」を発表しました。ds4は、Mac、CUDA、ROCm対応マシン向けに設計されており、DeepSeek V4/V4.1、GLM 5.x、Qwen3.8などのモデルをサポートします。非対称2ビット量子化技術により、ルーテッドエキスパートを圧縮し、共有パスを精密に保つことで、高メモリマシンでのモデル実行を可能にします。また、長大なプレフィックスをSSDに保存し、プロンプトハッシュで再開する機能や、チャット用CLI、ローカルAPIサーバー、ネイティブエージェントも提供します。M5 Max 128GBマシンでは、DeepSeek V4 Flash Q2モデルで32Kコンテキストにおいて、生成時34.4 T/s、プリフィル時557 T/sの性能を発揮します。
- Redis開発者が、ローカル環境でLLMを実行するC言語ベースの推論エンジン「DwarfStar 4(ds4)」を発表した
- Mac、CUDA、ROCm対応マシン向けに設計され、DeepSeek V4/V4.1、GLM 5.x、Qwen3.8などのモデルをサポートする
- 非対称2ビット量子化技術によりルーテッドエキスパートを圧縮し、共有パスを精密に保つことで高メモリマシンでのモデル実行を可能にする
- 長大なプレフィックスをSSDに保存しプロンプトハッシュで再開する機能、チャット用CLI、ローカルAPIサーバー、ネイティブエージェントを提供する
- M5 Max 128GBマシン上でDeepSeek V4 Flash Q2モデルを32Kコンテキストで実行し、生成34.4 T/s、プリフィル557 T/sの性能を発揮した
ローカルLLM推論エンジンの新規公開は、クラウド推論コストやGPU調達に依存しない選択肢を広げる点で注目される。非対称2ビット量子化でルーテッドエキスパートを圧縮しつつ共有パスを精密に保つ設計は、量子化技術がモデル性能とメモリ効率のトレードオフをどこまで改善できるかを示す指標になる。M5 Max 128GBで32Kコンテキスト時に生成34.4 T/s・プリフィル557 T/sという数値は、コンシューマ級ハードでの実用性を測るうえで重要。ただしds4自体はOSS的ツールと考えられ、直接の収益源ではなく、メモリ帯域・大容量DRAM・Apple Silicon需要や推論ソフトウェアエコシステムの競争構図を通じて投資判断に波及する点を注視したい。