Jev(TypeSafe AIの新モデル)の確率分布キャリブレーションの精度は低い
How accurately calibrated is Jev?
TypeSafe AIの新モデル「Jev」は、LLMがSystem Two(遅い思考)であるのに対し、System One(速い思考)の決定モデルとして位置づけられている。Jevは、Transformerアーキテクチャに分類器を接続したモデルで、特定のタスクに特化せず、文脈を即座に利用できる。しかし、その出力確率分布のキャリブレーション精度は低いことが判明した。物理的に既知の分布(ガウス、ポアソンなど)を用いてテストした結果、Jevは確率分布を過度にピークに偏らせる傾向があり、特に裾の部分の確率質量をうまく扱えない。また、問題文にピークが含まれる場合、そのピーク付近のビンに高い確率を割り当てる傾向がある。一方で、Jevは問題に適した分布を正確に選択する能力は非常に高い。数学的能力については、単純な計算は得意だが、多段階の計算になると精度が低下する。実験設計においては、フロンティアモデル(Claude Opus 5.5、GPT-6 Astra)が実験の意図を正確に理解せず、モデルのコピー能力をテストするような実験を設計してしまうという失敗モードも指摘されている。
- TypeSafe AIが新モデル「Jev」を発表。LLM(System Two)に対しSystem One(速い思考)の決定モデルとして位置づけ、Transformerに分類器を接続した構成で特定タスクに特化せず文脈を即時利用できる
- 物理的に既知の分布(ガウス、ポアソン等)でのテストでJevの出力確率分布のキャリブレーション精度が低いことが判明。分布を過度にピークへ偏らせ、裾の確率質量を扱えず、問題文にピークがあるとその近傍ビンに高い確率を割り当てる傾向
- 一方でJevは問題に適した分布を選択する能力は非常に高い。数学面では単純計算は得意だが多段階計算では精度が低下する
- 実験設計においてフロンティアモデル(Claude Opus 5.5、GPT-6 Astra)が実験の意図を正確に理解せず、モデルのコピー能力をテストするような実験を設計してしまう失敗モードが指摘された
TypeSafe AIの「Jev」はSystem One型の意思決定モデルとして、分布選択能力が高い一方で確率キャリブレーションの精度が低く、特に裾の確率質量やピーク偏重に課題がある。不確実性を確率で扱う用途(リスク評価、金融、医療判断)ではキャリブレーションの甘さが致命的になり得るため、実運用前の検証が必須。またフロンティアモデル(Claude Opus 5.5、GPT-6 Astra)が実験意図を理解せず設計を誤る失敗モードの指摘は、AI評価・ベンチマーク事業そのものの信頼性に波及する論点で、評価手法を提供する企業の優位性を測る材料になる。