OpenAIのDecisions API、信頼できる確信度を提供できるか?Lunaモデルのテスト結果

OpenAIは、限定プレビュー版のDecisions APIを発表した。このAPIは、GPT-6 Lunaモデルを基盤とし、ソフトウェアが分類、ルーティング、エージェントの行動決定などのタスクを自動化できるように設計されている。しかし、独立したテストによると、Lunaモデルは推論を伴う複雑な問題において、Jevなどの競合モデルと比較して精度が大幅に劣ることが判明した。特に、99%以上の確信度を示した回答のうち、正解だったのは68%に過ぎなかった。また、推論ステップが進むにつれて精度が低下し、5ステップ後には正答率が約45%にまで落ち込んだ。OpenAIのモデルは以前から確信度の問題が指摘されており、今回のテストでもその傾向が見られた。Decisions APIが信頼できる確信度スコアを提供できるか、またそのキャリブレーションが製品として提供されるかが今後の焦点となる。