Hugging Face、TGIのMessages APIでOpenAI互換性を実現し、オープンLLMへの移行を容易に
From OpenAI to Open LLMs with Messages API on Hugging Face
Hugging FaceのText Generation Inference (TGI) v1.4.0以降では、OpenAI Chat Completion APIと互換性のあるMessages APIが提供される。これにより、ユーザーはOpenAIモデルからオープンLLMへの移行が容易になり、OpenAIのクライアントライブラリやLangChain、LlamaIndexなどのサードパーティツールで直接利用可能になる。このAPIはInference Endpointsでも利用可能で、専用およびサーバーレスの両方のフレーバーで提供される。ただし、現時点では関数呼び出しはサポートされておらず、chat_templateが定義されたLLMでのみ機能する。記事では、Nous-Hermes-2-Mixtral-8x7B-DPOモデルをInference Endpointsにデプロイする手順や、OpenAIクライアントライブラリ、LangChain、LlamaIndexとの連携方法がコード例と共に解説されている。デプロイされたエンドポイントは、アイドル状態が15分続くと自動的にスケールゼロになる機能も持つ。
- Hugging FaceがTGI v1.4.0でOpenAI Chat Completion API互換のMessages APIをリリース
- Inference Endpointsで専用およびサーバーレス両方のフレーバーでMessages APIが利用可能に
Hugging Faceが自社の推論基盤(TGIおよびInference Endpoints)でOpenAI APIとの互換性を公式に実装した点は、オープンLLMエコシステムの分水嶺と言える。これにより、従来OpenAIロックインだったアプリケーションがコード変更最小限でHugging Face上のオープンモデルに移行可能になり、推論コスト低減とベンダーダイバーシフィケーションの選択肢が一気に広がる。投資視点では、Hugging Faceがモデルホスティングのデファクトをさらに強固にし、オープンLLMへの需要加速のトリガーとなる可能性に注目したい。