Mesh LLM: iroh 上での分散型AIコンピューティング
Mesh LLM: distributed AI computing on iroh
Mesh LLMは、既存のGPUとメモリを複数のマシンに分散させてプールし、単一のOpenAI互換APIとして提供する分散型AIコンピューティングシステムです。これにより、ユーザーはより大きなモデルを、より大きなGPUを購入することなく実行できます。Mesh LLMは、irohエンドポイントのメッシュ上でモデルの計算を分散させ、ローカル実行、ピアへのルーティング、または複数マシンにわたるモデルの分割(パイプライン方式)の3つの方法でリクエストを処理します。特に大規模モデル向けには、モデルをレイヤーごとに分割して複数マシンで実行する「Skippy」モードを提供します。各ノードはirohエンドポイントを起動し、中央サーバーなしでピア間の直接的で認証されたQUIC接続を確立します。NATトラバーサルやリレーフォールバックはirohが担当し、Mesh LLMはその上に独自のゴシップレイヤーを構築してメッシュへの参加者を管理します。ソフトウェアは約18MBで、公開メッシュに参加するかプライベートデプロイメントを構成できます。標準的なOpenAIクライアントはlocalhost:9337/v1経由でアクセスできます。将来的にはモバイルアプリも提供予定です。
- Mesh LLMが分散型AIコンピューティングシステムとして公開された
Mesh LLMは、GPUリソースを分散ネットワークでプールし、大規模GPUへの投資なしに大規模モデルを実行できるアプローチを提供する。irohプロトコル上に構築されたピアツーピア方式で中央サーバー不要の分散推論を実現しており、計算コストの低減や、エッジデバイスを含む柔軟なAI実行環境の可能性を示している。現時点ではまだプロジェクトの初期段階であり、商用化や大規模普及には課題も多いが、GPUリソースの逼迫・寡占が進む中で、分散コンピューティングによる代替手段として注視に値する。