RAGコンテキストを回答に必要な情報だけに絞り込む方法

Kapa社は、AIアシスタントが大規模なナレッジベース(技術文書、APIリファレンス、PDF、フォーラムなど)に基づいて複雑な質問に回答するのを支援するサービスを提供している。同社は、検索拡張生成(RAG)のコンテキストを最適化するため、リトリーバー(質問に関連するドキュメントチャンクを検索)とジェネレーター(LLM)の間に、コンテキストを削減する新しいステップを導入した。この新しいステップでは、小規模で安価なLLMが質問と取得された全てのチャンクを読み込み、回答に不要なチャンクを削除する。この「プルーニング」により、コンテキストの約68%が削減され、リコールの96%が維持される。これにより、クエリコストが約3分の1削減される。従来のランキングスコアに基づくカットオフやアンカードキュメントを用いた手法は、チャンク間の関連性を考慮できないという問題があったが、新しい手法ではLLMが質問と全てのチャンクを同時に評価することで、この問題を解決した。プルーナーのモデル、閾値、keep-top-kが主要な調整パラメータとなる。この手法は、特にエージェントが複数のツールを使用する際に、コンテキストウィンドウの節約や、エージェントが再度検索する余地を残す点で有効である。現在、Kapa社のProduct Agent SDKのナレッジベース検索ではデフォルトで有効化されており、リトリーバルAPIやMCPサーバーでもオプションとして利用可能である。