モデルルーティングは単純ではない:システム最適化の問題へ

モデルルーティングは単純な分類問題ではなく、システム最適化の問題であることが、GPT-4.1とClaude Sonnet 4.6のコスト比較実験から明らかになった。同じタスクでSonnetは79ドル、GPT-4.1は155ドルかかり、GPT-4.1の方が安価なはずだが、Sonnetはキャッシュヒット率の高さから実質コストが低くなった。これは、モデル、ワークロード、インフラの相互作用がコストに影響するためである。また、タスクの難易度推定は実行前に不明なことが多く、ルーティングではコスト、品質、レイテンシ、コンプライアンス、信頼性などを同時に考慮する必要がある。著者の開発したルーティングアルゴリズムは、モデル選択ではなく、これらの要素を同時に最適化するシステム最適化アプローチを採用し、コストと精度のトレードオフを提示する範囲を提供している。