Show HN: 型付き決定モデルのための再現可能なベンチマーク JevBench
Show HN: JevBench, a reproducible benchmark for typed decision models
JevBenchは、型付き決定モデルのための再現可能なベンチマークであり、複数のモデルのパフォーマンスを評価する。表には、Jev 1.13.0、SemIf、djev、Winnow-12B Q8、reflex 4B、jqv、decision-machine-1、decider-35b-a3b、open-alternative-jev、system-one-open、OpenJev、SimpleJev Qwen3.8-27B、ZeroEntropy zerank-2、GPT-5.6 Luna、openjev-sglang、Qwen3-Reranker-4B、reflex-27b、LitJev、kev 0.6B、SimpleJev Qwen3.6-35B-A3B、djev、jev-local、decider-2b、Bespoke Nimble 9B、Gemini 3.1 Flash-Lite、OpenJev、kev 4B、DeepSeek V4.1 Flash、kev 8B、Open-Jev 9B、system-one、jeff、Laya、Open-Jev 2B、OpenDecision、openJev Verdict 1.4、openJev Verdict、kev 0.5B、GLiNER2 large、smalljev semantic-v9、GLiNER2、open-jev-deberta-v3-large、GLiNER2.5 multi、GLiNER2.5 small、Mixedbread mxbai-rerank-base-v2、BAAI bge-reranker-v2-m3、Alibaba GTE Reranker ModernBERT-base、Certo v1といったモデルが、5つの異なる評価指標(#1から#5)におけるスコアと共にランク付けされている。一部のモデルでは、JevBenchスコアとランクが異なる場合があることが注記されている。
- 型付き決定モデル向けの再現可能なベンチマーク「JevBench」が公開され、複数モデルの性能を5つの評価指標でランク付けした
- 評価対象には商用モデルの Gemini 3.1 Flash-Lite、GPT-5.6 Luna、DeepSeek V4.1 Flash と、オープン系の OpenJev、kev 0.6B/4B/8B、SimpleJev などが同一ランキングで比較されている
- リランカー系モデル(GLiNER2、Mixedbread mxbai-rerank-base-v2、BAAI bge-reranker-v2-m3、Alibaba GTE Reranker ModernBERT-base など)も評価対象に含まれる
- 一部モデルではJevBenchスコアとランクが一致しない場合があると注記され、指標の一貫性に留保が付いている
LLM・判定/分類モデルの性能評価は「ベンチマークの信頼性」がそのまま製品採用と調達判断を左右するため、投資家としては誰がどの指標を設計し、どのモデル群が互換的に比較可能になったかに注目したい。今回のJevBenchは型付き決定モデルというニッチ領域ながら、オープンモデル群と商用モデル(GPT-5.6 Luna、Gemini 3.1 Flash-Lite、DeepSeek V4.1 Flashなど)を同一ランキングで並べている点が重要で、公開ベンチマークがデファクト化すれば低コストのオープンモデルへの置き換え圧力(推論コスト低下・中小ラボの採用機会)が生じ得る。一方でJevBenchスコアとランクが一致しないと注記されている通り指標設計の未成熟さも示唆され、単一ベンチマークの数値をそのまま投資判断に使うのは危険。今後、再現性と第三者検証の有無が、この領域の勝者を決める評価軸になるとみる。