ローカルモデルでのコーディングハーネスのパフォーマンス:9つのハーネスを比較
Nine coding harnesses vs. your laptop
この記事では、ローカル環境でコーディングハーネスを使用する際のパフォーマンスについて、9つの異なるハーネスを比較分析しています。特に、システムプロンプトの長さ、コンテキストウィンドウのサイズ、サイドリクエストの頻度といった要因が、ローカルモデルでの応答速度に大きく影響することが指摘されています。具体的には、Opencodeは18,046トークンのシステムプロンプトを持ち、ローカル環境では応答に226秒かかるのに対し、データセンター環境では1.8秒で済むとされています。また、M4 MacBook Pro(24GB)とQwen 3.8 27Bモデルを使用し、8つのExercism課題で各ハーネスをテストした結果、chad(MLX, dflash2)が17.4トークン/秒で最も高速でした。一方で、crushやopencodeは応答開始までに数分かかることが示されています。これらの結果は、ローカル環境での開発体験が、データセンター環境とは大きく異なることを示唆しています。
- ローカル環境のコーディングハーネス9種を比較し、システムプロンプト長・コンテキストウィンドウ・サイドリクエスト頻度がローカルモデルの応答速度を大きく左右すると指摘
- Opencodeは18,046トークンのシステムプロンプトを持ち、応答にローカル226秒/データセンター1.8秒と環境差が大きい
- M4 MacBook Pro(24GB)とQwen 3.8 27Bモデルで8つのExercism課題をテストし、chad(MLX, dflash2)が17.4トークン/秒で最速だった
- crushやopencodeはローカルで応答開始までに数分を要し、データセンター環境との開発体験の差が大きい
ローカルLLM推論の実用性を測るベンチマーク記事。システムプロンプト長(Opencodeは18,046トークン)やサイドリクエスト頻度がレイテンシを支配し、データセンターの1.8秒に対しローカルは226秒という差は、推論コスト・トークン効率がそのまま製品競争力を左右することを示す。M4 MacBook Pro(24GB)という民生ハードで動かす前提の比較は、クラウド依存を減らすエッジ推論・オンデバイス開発ツール市場の立ち上がりを占う材料になる。chad(MLX, dflash2)の17.4トークン/秒のような具体的数値は、推論ランタイムやモデル量子化技術への投資判断の参考になる一方、参加ハーネスはオープンソース中心で直接の上場企業収益には結びつきにくい点は留意。