Show HN: 80B QwenモデルをMacの4.3GB RAMで、35BモデルをiPhoneで実行可能に
Show HN: Run an 80B Qwen in 4.3 GB of RAM on a Mac, and a 35B on an iPhone
Swiftletは、Qwen3-NextおよびQwen3.5/3.6 MoEハイブリッドモデルファミリー向けのSwift+Metalランタイムであり、Apple Silicon搭載デバイス上で大規模言語モデルを実行可能にする。この技術は、モデルの小さな密なコアのみをメモリに常駐させ、ルーティングされたMixture-of-Experts(MoE)ウェイトをオンデマンドでストレージからストリーミングすることで、少ないRAMで大規模モデルの実行を可能にする。具体的には、4-bit量子化されたQwen3.6-35Bモデルは18GBのディスク容量と2.6GBのRAMで、Qwen3-Next-80Bモデルは42GBのディスク容量と4.3GBのRAMで動作する。35BモデルはiPhone 17でも約2.5GBのRAMで動作し、これはこのクラスのモデルがネイティブで電話上で実行された初の事例である。Swiftletは、Apple Silicon、macOS 14+またはiOS 17+を要件とし、Apache 2.0ライセンスで提供される。モデルの重みは別途ダウンロードされ、それぞれのライセンスに従う。
- Swiftletランタイムにより、4-bit量子化されたQwen3-Next-80BモデルをMac上で4.3GBのRAMで実行可能にした
- Qwen3.6-35Bモデルが2.6GBのRAMで動作し、iPhone 17で約2.5GBのRAMでネイティブ実行された初の事例となった
- 小さい密なコアのみをメモリに常駐させ、ルーティングされたMoEウェイトをオンデマンドでストレージからストリーミングする技術を採用
エッジAI推論のコスト構造を大きく変える可能性がある技術。Apple Silicon上で80BクラスのLLMを4.3GBのRAMで実行できるというのは、クラウド依存のAIインフラからオンデバイスAIへのシフトを示唆しており、エッジ推論の市場拡大につながる。特に36BモデルがiPhoneでネイティブ動作した初の事例である点は、モバイルAIの実用化において重要なマイルストーンである。ただし、これはオープンソースのランタイム発表であり、商用化や具体的なビジネス展開は未定である点には注意が必要。