Jev対LLM、Redditの「私は悪者か?」投稿でのベンチマーク比較
Jev vs. LLMs on 770 "Am I the Asshole?" posts
TypeSafe社のJevモデルと複数の大規模言語モデル(LLM)を、Redditのr/AmItheAsshole(AITA)の投稿に対する判定能力で比較したベンチマーク結果。JevはSonnet 5と比較して、中央値で6.3倍高速、62倍安価であった。しかし、当初のベンチマークではSonnet 5がわずかに優れたBrierスコア(0.369 vs 0.344)を示した。調整後のテストでは、Jevの調整済みモデルが最も低いBrierスコア(0.337)を記録したが、これはSonnet 5の未調整スコアとの直接比較ではない。LLMは推論をほとんど行わない設定で比較された。Redditの判定(フレア)を予測する能力を測るもので、JevはSonnet 5やGPT-5 nanoなどのモデルを速度とコスト面で大きく上回ったが、精度ではSonnet 5が僅かに優位であった。ベースレート(常にNTAと予測)を上回ったのはSonnet 5とJevのみであった。テストには770件のAITA投稿が使用され、Jevの応答時間は約0.39秒、Sonnet 5は約2.46秒だった。
- TypeSafe社のJevモデルは、Redditのr/AmItheAsshole投稿770件の判定ベンチマークでSonnet 5と比較し、中央値で6.3倍高速(応答時間約0.39秒 vs 約2.46秒)、62倍安価だった
- 当初のベンチマークではSonnet 5がJevより僅かに優れたBrierスコア(0.369 vs 0.344)を示し、精度では依然Sonnet 5が優位だった
- 調整後のテストではJevの調整済みモデルが最も低いBrierスコア0.337を記録したが、Sonnet 5の未調整スコアとの直接比較であり厳密な同条件比較ではない
- ベースレート(常にNTAと予測)を上回ったのはSonnet 5とJevのみで、他のLLMは推論をほとんど行わない設定で比較された
ベンチマークの題材自体は遊び心があるが、投資家として重要なのはJevがSonnet 5比で中央値6.3倍高速・62倍安価という推論コスト構造の差。精度ではSonnet 5がBrierスコアで僅かに優位という結果は、フロンティアモデルの性能優位が依然残ることを示す一方、汎用タスクでは小型・特化モデルが価格性能比で置き換え得ることを示唆する。ただし調整後モデル同士の比較ではない点など手法の限界があり、この数値だけで競争力の優劣を断定するのは早計。推論コスト低減がAIアプリの収益性を左右する論点として、類似のベンチマーク手法と実運用タスクでの再現性を注視したい。