Hugging FaceとFriendliAIが提携、モデルデプロイメントを強化

Hugging Faceと、高速生成AI推論のリーダーであるFriendliAIが提携し、AIモデルの開発者によるデプロイメントと管理の方法を強化する。この統合により、Hugging Face Hub内にFriendliAI Endpointsがデプロイメントオプションとして追加され、開発者は高性能でコスト効率の高い推論インフラに直接アクセスできるようになる。FriendliAIは、連続バッチング、ネイティブ量子化、自動スケーリングなどの技術により、GPUベースの生成AI推論プロバイダーとして最速と評価されている。これにより、推論の高速化、レイテンシの削減、大規模デプロイメントにおけるコスト削減が実現する。今回の提携により、Hugging FaceユーザーとFriendliAI顧客は、オープンソースまたはカスタム生成AIモデルを効率的かつ確実にデプロイできるようになる。昨年には、FriendliAIプラットフォーム内にHugging Faceの統合が導入され、Hugging FaceのモデルをFriendli Suiteにシームレスにデプロイできるようになった。今回の新たな統合により、Hugging Face Hub内で直接1クリックでデプロイが可能になり、モデルカードからFriendli Suiteアカウントを使用してモデルをデプロイできるようになった。NVIDIA H100 GPU上でモデルをデプロイし、最適化されたオープンソースモデルと対話できる。FriendliAIのGPU最適化推論エンジンは、マネージドサービスとして高速かつコスト効率の高い推論を提供する。FriendliAIのサービスを利用することで、ピークパフォーマンスを維持しながら必要なGPU数を削減し、コストを大幅に削減できる。また、インフラ管理の複雑さも簡素化される。Friendli Serverless Endpointsは、オープンソースモデルの効率的な推論を求める開発者に最適なソリューションであり、低コストで高性能な推論を提供する。