コーディングエージェントのためのハーネス設計に関する実証的研究

本研究は、自律型コーディングエージェントの性能を左右するコーディングハーネスのコンポーネントレベルでの効果を検証する。軽量なコーディングハーネスを用い、実行ループを固定したまま、プランニング、アクションスペース、コンテキスト管理の3つのコンポーネントを変化させて評価した。SWE-Bench VerifiedおよびTerminal-Bench 2.1で4つのモデルを対象に、5つのコンテキスト管理戦略、4つのコンテキストウィンドウ予算、プランニングとアクションスペースの特定のアブレーションを含む176の条件で評価を行った。結果として、コンテキスト管理はコンテキストウィンドウ予算がタイトになるほど価値が増し、その効果の多くはコンテキストオーバーフローの失敗を防ぐことから得られることが示された。ルールベースのエリジョンをLLMベースの要約の前に行うことが最も効率的であり、エリジョンされたコンテンツのリカバリ可能性は、モデルがほとんど使用せず、精度も向上しないことが判明した。プランニングは、弱いモデルの精度向上から、より強力なモデルのコスト削減へと移行し、精度への影響は少ない。定義済みのツールは、bash能力の低いモデルの性能を向上させる一方、bash能力のあるモデルはbashのみのインターフェースで効果的に動作し、特にコマンドライン中心のタスクでは大幅にコストを削減できる。これらの効果は、コンテキスト管理がエージェントの動作を大幅に変更せずに実行軌道を拡張し、プランニングが軌道の停止位置を変更し、アクションスペースがコードの記述粒度を変更することによって説明される。これらの発見は、モデルと予算を考慮したハーネス設計に役立ち、将来のハーネスコンポーネントを評価するためのモジュラーフレームワークを提供する。