Apple Silicon MacでKimi K3モデルをローカル実行するDeltafinプロジェクト
Running Kimi K3 on a M1 Max
Deltafinは、Apple Silicon Mac上で大規模なMixture-of-Experts (MoE) モデルであるKimi K3をローカル実行するための研究プロジェクトです。M1 Max (64GB RAM)搭載のラップトップでも動作し、約16秒/トークンの速度で動作します。モデルの実行には、Python 3.12+、Xcode CLT、およびPyTorchなどのライブラリが必要です。モデルのダウンロードには、ディスク容量約1.7TBのフルインストールと、約30分のダウンロード時間で済むストリーミングモードの2種類があります。フルインストールでは約60-76秒/トークン、ストリーミングモードでは約3分/トークン(キャッシュされていない場合)の速度になります。DeltafinはOpenAI互換APIを提供し、ローカルでモデルを実行するためのコマンドラインツールも含まれています。パフォーマンスはディスク帯域幅、メモリ帯域幅、GPU性能、RAM容量に依存し、特に64GB RAMではモデルの主要部分(スパイン)がディスクから再読み込みされるため、128GB以上のRAMを搭載した新しいMacでは大幅な高速化が期待できます。プロジェクトは、効率的なエキスパートフェッチ、並列エキスパート読み込み、ダブルバッファリングされたレイヤーローディング、N-gramスペキュレーションなどの技術を採用しています。
- DeltafinプロジェクトがApple Silicon Mac上でMoEモデル「Kimi K3」のローカル実行を実現した
- M1 Max (64GB RAM)搭載Macで約16秒/トークンで動作し、128GB以上のRAM搭載Macでは大幅な高速化が期待される
- プロジェクトは研究段階であり、実用速度には達していない
本記事は、Apple Silicon Mac上でKimi K3(MoEモデル)をローカル実行するDeltafinプロジェクトの技術報告である。投資家視点では、(1) 大規模MoEモデルをローカル環境で実行可能にした点はエッジAI・オンデバイスAIの可能性を広げ、Apple SiliconのAI活用需要を高める可能性がある、(2) ただし現時点では速度が実用域に達しておらず(16秒/トークン〜3分/トークン)、研究段階のプロジェクトであることから、短期的な投資インパクトは限定的。Apple SiliconのRAM容量拡大(128GB以上)が高速化に直結する点は、Appleのハードウェア戦略への波及が注目されるが、現状は技術デモの域を出ず、早期の事業化や業績への具体的な寄与は見込めない。