Jevのキャリブレーションは不可能
Jev Can't Be Calibrated
Jevは、テキスト生成ではなく、定義済みの出力セットから確率付きの決定を返すTypeSafe初の「System One Model」である。Jevは学習データなしで様々な分類問題に適用でき、BERTのファインチューニングとは異なり、汎用性が高い。しかし、記事の筆者は、Jevの「キャリブレーションされた確率」という主張は一般的に成り立たず、その出力を確率ではなくスコアとして扱うべきだと論じている。モデルのキャリブレーションはデータ分布にも依存するため、TypeSafeのデータでキャリブレーションされていても、ユーザーのデータ分布では miscalibrated になる可能性がある。例えば、Jevは公平なコインが表になる確率を0.92と誤って予測する例も報告されている。キャリブレーションされた確率が必要な場合は、ユーザー自身のデータでJevの確率を再キャリブレーションする必要があるが、これは少数のラベル付きデータで比較的容易に行える。筆者は、Jevの出力を実際の確率としてではなく、例をうまくランク付けするスコアとして扱うことを推奨している。
- TypeSafeの「System One Model」Jevは、テキスト生成ではなく定義済み出力セットから確率付きの決定を返す。学習データなしで多様な分類問題に適用可能とされる
- Jevは公平なコインが表になる確率を0.92と予測するなど、出力確率がmiscalibratedになる事例が報告されている
- キャリブレーションはデータ分布に依存するため、TypeSafeのデータで調整されていてもユーザー側のデータ分布ではずれる。正確な確率が必要な場合はユーザー自身のラベル付きデータでの再キャリブレーションが必要
- BERTのファインチューニングとの比較で、Jevは確率ではなくスコアとして扱うことで例のランキングに活用すべきと筆者は推奨している
TypeSafeの「System One Model」Jevは学習データ不要で分類に使える点が魅力的だが、本記事はその「キャリブレーションされた確率」という売り文句に疑問を投げかけている。出力を確率ではなくランキング用スコアとして扱うべきという主張は、確率の信頼性が前提となるリスク判定・与信・医療などの用途では導入判断を大きく左右する。加えて、ユーザー側データで再キャリブレーションが必要という指摘は、導入時の追加コスト・ラベル付きデータの必要性を意味し、実運用の難易度とベンダー主張の誇張リスクを見極める材料になる。AIモデルの性能指標の妥当性は導入企業の評価軸に直結するため、同種の「確率出力型」AIの差別化要因が陳腐化しないか注視したい。