Snowflake、AIクエリのコスト削減のため最大3倍の自動ルーティングゲートウェイを提供開始

Snowflakeは、AIエージェントの運用コストを削減するため、動的なモデルルーティング機能を備えたCortex AI Gatewayを発表しました。この機能により、単純な質問には安価で能力の低いモデルを、複雑な質問には高性能なモデルを自動的に割り当て、トークンコストを最大3倍削減できるとしています。この機能は、Databricks、AWS、Google Cloud、Nvidiaなども同様の技術を発表している業界全体の流れに沿ったものです。Snowflakeは、ルーティングにおいて品質、コストだけでなく、ガバナンスとコンテキストの重要性も強調しています。ルーティングは、まず小規模モデルが試行され、失敗した場合に大規模モデルが呼び出される「アドバイザーパターン」と、過去のクエリ履歴に基づいて単純な質問を単純なモデルに振り分ける分類器の2つのメカニズムで動作します。顧客は特定のモデルを選択することも可能で、追加料金は発生しません。アクセス制御はデータガバナンスの仕組みと連携し、モデルやエージェントレベルでの権限管理も行われます。また、コンテキスト機能により、より単純で安価なモデルでもタスクを処理できるようになり、エージェントのメモリもコンテキストに組み込まれます。競合としてはOpenRouter、Databricks、Nvidiaなどがモデルルーティング技術を提供しており、Sanajev Mohan氏は、ルーティング技術そのものよりも、既存のデータガバナンスモデルとの適合性やコスト可視性が選択の鍵となると指摘しています。