Show HN: Lumabri – ColibriエンジンでP2Pスワーム上でMoeモデルを実行
Show HN: Lumabri – Run Moe Models on a P2P Swarm with Colibri
Lumabriは、Colibriエンジンを使用してP2Pスワーム上で大規模なMixture-of-Experts (MoE) モデルを実行する純粋なC言語で依存関係のないシステムです。モデルの一部を共有するマシンと対話する他のマシンで構成されます。推論に必要なバイトのみが初回使用時にピアから到着し、ローカルにミラーリングされるため、2回目以降のクエリはローカルディスクから高速に提供されます。GPUの有無に関わらず、CPUとSSDで動作するように設計されており、出力はバイト単位で同一です。モデルをホストするマシンでは`lumabri serve`、対話するマシンでは`lumabri chat`コマンドを使用します。ネットワークはトラッカーによって管理され、バイト範囲の読み取り要求に応答するメンテナーと、モデルのファイルインデックスを持つトラッカーで構成されます。チャットクライアントは`liblumabri.so`を介してモデルをマウントし、ローカルミラーに存在しないブロックはピアから取得されます。MoEモデルでは、チャッターは密な重み、ルーター、KVキャッシュのみを保持し、アクティベーションは各エキスパートを保持するピアに送信されます。エキスパートの重みはチャッターに到達しません。ピアは信頼されず、各ブロックは署名付きのハッシュで検証され、リモート実行はレプリカの合意によってチェックされます。Lumabriは、Petalsやllama.cpp RPCとは異なり、エキスパートの粒度で分割するため、GPUがないスワームでも機能します。
- LumabriはColibriエンジンを用いてP2Pスワーム上でMoEモデルを実行するオープンソースシステムを公開した。
- GPUを持たない環境でもCPUとSSDで動作し、出力はバイト単位で同一であると主張している。
- Petalsやllama.cpp RPCとは異なり、エキスパート粒度でモデルを分割する方式を採用している。
LumabriはMoEモデルをP2Pスワーム上で分散実行する新たなアプローチであり、GPUを持たないエッジ環境でも大規模AI推論を可能にする点で、AIインフラの民主化というトレンドに合致する。特にエキスパート粒度での分割と信頼不要の検証機構は、分散推論の実用化に向けた技術的進展であり、投資家としては分散AIコンピューティングのエコシステム形成の初期兆候として注目に値する。ただし現時点では開発者向けプロジェクトの段階であり、商用化や収益化の道筋はまだ見えていない。