Show HN: 低スペックPCでGLM 5.2を実行する
Show HN: Getting GLM 5.2 running on my slow computer
開発者は、7440億パラメータのMixture-of-Experts (MoE) モデルであるGLM-5.2を、約25GBのRAMを搭載したコンシューマーマシンで実行可能にする純粋なC言語で書かれたエンジン「colibrì」を開発しました。このエンジンは依存関係ゼロで、モデルの専門家(エキスパート)をディスクからストリーミングすることでメモリ使用量を抑えています。モデルの大部分(約370GB)はディスクに保存され、アクティブな部分(約9.9GB)のみがRAMにロードされます。この技術により、高性能GPUなしで大規模言語モデルをローカル環境で動作させることが可能になります。エンジンは、MLAアテンション、ネイティブMTP(Multi-Token Prediction)による投機的デコーディング、整数演算カーネルなどを採用しており、ディスクI/Oのボトルネックを考慮した最適化が行われています。開発者は、このプロジェクトの有用性や興味深さを感じた場合に、リポジトリのスター付け、ベンチマーク結果の共有、ハードウェアの寄付などを通じた支援を呼びかけています。
- 7440億パラメータのMoEモデルGLM-5.2を、約25GB RAMのコンシューマーマシンで動作させるC言語製エンジン「colibrì」が公開された
- MoEモデルのエキスパートをディスクからストリーミングすることで、メモリ使用量を約9.9GB(アクティブ部分)に抑え、残りの約370GBはディスクに保存する設計
本記事は、超巨大なMoEモデル(GLM-5.2、7440億パラメータ)を、高性能GPU不要でコンシューマーマシン上で実行可能にする技術「colibrì」の発表です。特に注目すべきは、ディスクからのエキスパート・ストリーミングにより、RAM容量の制約を実質的に回避した点です。これにより、大規模言語モデルのローカル実行ハードルが大幅に下がり、推論コストの劇的な低下やエッジデバイスへの展開が加速する可能性があります。AIモデルの民主化・普及を後押しする技術であり、推論インフラやデバイス戦略に影響を与えうる点で投資家にとって重要です。