2.78兆パラメータのKimi K3モデルを29GBのRAMで0.50トークン/秒で実行するWASTEエンジン

WASTEは、C言語で書かれた組み込み可能な推論エンジンで、サードパーティのランタイム依存関係がありません。モデル全体をメモリに保持し、選択されたエキスパートをディスクからストリーミングし、残りのRAMをバウンドエキスパートキャッシュとして使用します。2.78兆パラメータのKimi K3モデルを、982 GiBのコンテナに変換し、64 GBのMacBook Proで0.49〜0.54トークン/秒で実行することに成功しました。このモデルは、メインストリームのコンシューマーシステムではRAMに収まらないため、WASTEはディスクからストリーミングし、エキスパートの読み込みと演算を並列化することで、コンシューマーマシン上で動作させます。最低29.05 GiBのRAMが必要ですが、実用的なスループットには64 GBのRAMが推奨されます。Kimi-Linear-48Bモデルは、19 GBのコンテナと1.87 GBの最小RAMで10.7トークン/秒で動作します。