企業知識検索のベンチマーク:実世界の雑多なデータでのエージェント向け検索性能評価
Benchmarking retrieval for agents on messy real-world company knowledge
Kapaは、企業内のドキュメント、チケット、チャットメッセージ、Wiki、コードなどの「企業知識」を検索するためのプラットフォームを提供している。同社は、自社システムの改善のために「Company Knowledge Bench」というベンチマークを開発した。これは、実際のプロダクションデータから1,000件の評価ケースをアノテーションしたもので、検索性能を評価する。このベンチマークによると、grepのみを使用するモデルでもチューニングされたモダンな検索パイプラインと同等の性能を示したが、処理時間は5倍かかった。一方、Kapaの最適化されたエージェント型リトリーバー(Kapa Deep)は、0.65のスコアを約5秒で達成し、最も高い性能を示した。従来の固定パイプラインと比較して、リランキングの導入が最も効果的な改善策であり、スコアを0.41から0.50に向上させることが示された。エージェント型リトリーバーは、モデルの知能が重要であり、単純なツール(grep)でも高性能なモデルを使用すれば良い結果が得られるが、処理時間とコストが増大する傾向がある。Kapa Deepは、高い精度と低いトークン数を両立させ、最もコスト効率の良いソリューションとして提示されている。
- Kapaは企業内のドキュメント・チケット・チャット・Wiki・コードを検索するプラットフォームを提供し、自社改善用に実プロダクションデータから1,000件の評価ケースをアノテーションしたベンチマーク「Company Knowledge Bench」を開発した。
- grepのみを使うモデルが、チューニングされたモダンな検索パイプラインと同等の性能を示したが、処理時間は5倍かかった。
- Kapaの最適化されたエージェント型リトリーバー「Kapa Deep」はスコア0.65を約5秒で達成し、最高性能を示した。
- 従来の固定パイプラインではリランキングの導入が最も効果的で、スコアを0.41から0.50に向上させた。
- エージェント型リトリーバーはモデル知能への依存度が高く、単純なツールでも高性能モデルなら良い結果が得られるが、処理時間とコストが増大する傾向がある。
企業内ナレッジ検索はエージェント型AIの実需が最も早く立ち上がる領域の一つ。注目点は、Kapaが実プロダクションデータ1,000件の評価ケースをアノテーションして自社ベンチマーク「Company Knowledge Bench」を公開したこと、そしてgrepのみでも高性能モデルなら調整済みモダン検索パイプラインと同等性能に達する一方で処理時間が5倍かかるという定量結果だ。これは「モデル知能がリトリーバル設計を代替し得る」ことを示し、検索スタックの価値がどこに残るかを問う内容で、RAG/エージェント型検索ベンダーの競争優位や推論コスト構造を評価する上で重要。リランキング導入がスコアを0.41→0.50に押し上げたという改善幅も、既存検索パイプラインへの追加投資対効果の目安になる。Kapa Deepの0.65スコア/約5秒/低トークンという組み合わせは精度とコスト効率の両立案として提示されており、企業向けAI検索の導入判断における性能・コスト比較軸を提供している。