grepは万能か?エージェントハーネスがエージェント検索を再構築する方法

大規模言語モデル(LLM)エージェントの進歩により、モデルが自律的に情報を取得し、ツールを呼び出し、大規模コーパス上で推論を行うことで、ユーザーに代わってタスクを完了する複雑なエージェントワークフローが可能になった。エージェント検索システムにおけるRetrieval-Augmented Generation(RAG)の採用が増加しているにもかかわらず、既存の文献では、検索戦略の選択がエージェントアーキテクチャやツール呼び出しパラダイムとどのように相互作用するかについての体系的な比較が不足している。ツール出力がモデルにどのように提示されるか、検索がより多くの無関係な周辺テキストに対処する必要がある場合にパフォーマンスがどのように変化するかといった重要な実践的側面は、エージェントループにおいて十分に探求されていない。本稿では、2つの実験からなる経験的研究を報告する。実験1では、LongMemEvalの116の質問サンプルに対し、カスタムエージェントハーネス(Chronos)とプロバイダーネイティブCLIハーネス(Claude Code、Codex、Gemini CLI)を使用して、インラインツール結果とファイルベースツール結果の両方について、grepとベクトル検索を比較する。実験2では、grepのみとベクトルのみの検索を比較し、徐々に関連性のない会話履歴を混入させることで、各クエリが、重要なパッセージの隣に追加の気を散らす材料に埋め込まれるようにする。ChronosとプロバイダーCLI全体で、grepは実験1の比較において一般的にベクトル検索よりも高い精度をもたらすが、基盤となる会話データが同じであっても、全体的なスコアは依然として使用されるハーネスとツール呼び出しスタイルに強く依存する。