Show HN: 2GBのRAMでGemma 4 26Bを実行するオープンソースエンジン、あらゆるMシリーズMacで動作
Show HN: Open-source engine running Gemma 4 26B in 2 GB RAM on any M-series Mac
Andrey Mikhaylov氏が開発した「TurboFieldfare」は、Apple Silicon Mac上でGemma 4 26Bモデルを約2GBのRAMで実行できるオープンソースのSwift+Metal製ランタイムです。8GB RAMのMacでも動作可能で、モデル全体をメモリにロードせず、必要なエキスパートのみをSSDからストリーミングします。SwiftとMetalで書かれており、MLXやllama.cppのラッパーではありません。ネイティブMacアプリ、CLI、OpenAI互換サーバーが提供されます。Gemma 4 26B-A4Bモデルは、4-bit MLXアフィン量子化、8-bitルーター、4-bit共有エキスパートとルーテッドエキスパートを使用し、約14.3GBのストレージを必要とします。M2 MacBook Air (8GB RAM) では5.1-6.3トークン/秒、M5 Pro (24GB RAM) では31-35トークン/秒のデコード速度が測定されています。このプロジェクトはテキスト推論に特化しており、iPhone/iPadアプリ開発や、より多くのMacでのベンチマークが今後の開発目標として挙げられています。
- 開発者Andrey Mikhaylov氏が、2GBのRAMでGemma 4 26Bモデルを動作させるオープンソース推論エンジン「TurboFieldfare」を公開した
- SwiftとMetalでネイティブ実装され、MLXやllama.cppのラッパーではない独自ランタイムである
- M2 MacBook Air (8GB RAM) で5.1-6.3トークン/秒、M5 Pro (24GB RAM) で31-35トークン/秒のデコード速度を達成している
Gemma 4 26Bのような大規模MoEモデルを、2GBのRAMとSSDストリーミングで実用的な速度で動作させる技術は、エッジAIデバイスやコンシューマー向けLLM推論のコスト構造を大きく変える可能性がある。特にMシリーズMacの普及率を考えると、このような軽量推論エンジンの存在は、Apple SiliconエコシステムにおけるAIアプリ開発の促進要因となり、周辺ツール・サービスの市場拡大につながる。現時点では個人プロジェクトだが、企業による採用や類似技術の競争激化が今後の注目点。