jevals: LLMジャッジを型付きJev決定モデルで置き換える
Show HN: jevals – replacing LLM judges with typed Jev decisions
jevalsは、LLMジャッジの代わりにJevスタイルの決定モデルを使用することで、エージェントの評価(evals)とガードレールを可能にするPythonライブラリです。これにより、LLMジャッジと比較して大幅に高速かつ低コストで評価を実行できます。例えば、8つの評価項目を1つのHTTPリクエストで処理し、数ミリセントのコストと数百ミリ秒の応答時間で完了します。これは、従来のLLMジャッジが多数のAPIコールと数秒の遅延を必要としていたのと対照的です。jevalsは、Jev API、Kev、Layaなどのローカルモデル、または通常のチャットLLMと連携できます。セキュリティ評価(例:インダイレクトインジェクション、PHI)や品質評価(例:AnswerRelevancy、Completeness)など、多様な評価項目をサポートしており、これらは単一のリクエストで並列実行されます。また、YAMLまたはPythonで定義可能なゲート機能により、ツール呼び出しのリスク評価やインジェクション対策などを実装し、エージェントの安全性を高めることができます。jevalsは、オフラインでの評価、本番環境でのモニタリング、エージェントループ内のゲートとして、一貫した定義で利用可能です。
- jevalsはLLMジャッジをJevスタイルの型付き決定モデルに置き換え、エージェント評価とガードレールを実現するPythonライブラリを公開。
- 8つの評価項目を1回のHTTPリクエストで並列処理し、数ミリセントのコストと数百ミリ秒の応答時間で完了。従来のLLMジャッジが多数のAPIコールと数秒の遅延を要するのと対照的。
- Jev API、ローカルモデルのKev・Laya、通常のチャットLLMと連携可能。インダイレクトインジェクションやPHIなどのセキュリティ評価、AnswerRelevancy・Completenessなどの品質評価に対応。
- YAMLまたはPythonで定義可能なゲート機能により、ツール呼び出しのリスク評価やインジェクション対策を実装。オフライン評価、本番モニタリング、エージェントループ内ゲートを一貫定義で利用可能。
エージェント評価・ガードレールのコスト構造を劇的に変えうる点が注目点。LLMジャッジは大量のAPIコールと数秒の遅延を伴い、エージェント導入時の運用コストとレイテンシのボトルネックになっていた。jevalsは型付きJev決定モデルでこれを置き換え、8評価項目を単一HTTPリクエスト・数ミリセント・数百ミリ秒で処理する。推論コスト削減はAIアプリの収益性に直結し、評価ツール市場(LLM-as-a-judge系)の置き換えリスク・機会を示唆。ただし現時点ではOSSライブラリの公開であり、収益化や採用規模は未見。投資判断には導入企業数や商用化の動きを追う必要がある。