Jeff: 家庭でトレーニングされた、Jev互換の0.8B決定モデル、約30ミリ秒
Jeff – Jev-compatible 0.8B decision models, trained at home, ~30 ms
Jeffは、Qwen3.5およびGemma 4のファインチューニングモデルで、ゼロショット分類に対応した小型・高速な決定モデルです。Jevと同じリクエスト形式で、状況を記述し選択肢を提示すると、各選択肢の確率を単一フォワードパスで返します。生成テキストや解析は不要で、NVIDIA RTX PRO 6000では約22ミリ秒、Apple M4 Maxでは約28ミリ秒で処理が完了します。このモデルは、ローカルハードウェアのみでトレーニングされ、クラウドGPUは使用していません。Hugging FaceでJeff-Qwen3.5-0.8B、Jeff-Qwen3.5-2B、Jeff-Gemma4-E2Bのモデルが公開されています。ベンチマークではJevに匹敵または凌駕するスコアを示しますが、推論能力は大型モデルに劣ります。ファインチューニングにより、例えば音声ナビゲーションタスクで精度を31.7%から95.8%に向上させることが可能です。0.8Bモデルは高速な選択肢のピッキングに最適であり、2Bモデルはより慎重ですがゲームプレイでは劣る傾向があります。
- Qwen3.5 と Gemma 4 のファインチューニングによる 0.8B〜2B 級の決定モデル「Jeff」が公開され、ゼロショット分類を単一フォワードパスで処理する
- NVIDIA RTX PRO 6000 で約 22 ミリ秒、Apple M4 Max で約 28 ミリ秒と低遅延で、クラウド GPU を使わずローカルハードのみで訓練された
- Jeff-Qwen3.5-0.8B、Jeff-Qwen3.5-2B、Jeff-Gemma4-E2B が Hugging Face で公開されている
- ファインチューニングで音声ナビゲーションタスクの精度が 31.7% から 95.8% へ向上した
Jeff は小型・高速な決定モデルを家庭用ハードのみで訓練・公開した点が注目される。クラウドGPUなしで 0.8B 級が 20〜30 ミリ秒の単一フォワードパス推論を実現できれば、エッジ/ローカル推論のコスト構造が変わり、API 呼び出し中心のエージェント設計に対する代替手段になり得る。一方で推論能力は大型モデルに劣り、ベンチマークも自己申告の域を出ないため、Hugging Face 上での実利用や第三者評価の広がりを確認してから評価したい。