IntelとHugging Face、Optimum IntelにOpenVINOを統合しモデル高速化を実現
Accelerate your models with 🤗 Optimum Intel and OpenVINO
IntelとHugging Faceは、Transformerモデル向けのハードウェアアクセラレーションツールであるOptimum IntelにIntel OpenVINOを統合したことを発表しました。これにより、Hugging FaceハブまたはローカルでホストされているTransformersモデルで、様々なIntelプロセッサ上でOpenVINO Runtimeを用いた推論が容易に行えるようになりました。また、OpenVINO Neural Network Compression Framework (NNCF) を使用してモデルを量子化し、サイズと予測レイテンシを大幅に削減できます。この最初のリリースはOpenVINO 2022.2に基づいており、PyTorchモデルの推論をサポートします。特に、Vision Transformer (ViT) モデルをfood101データセットでファインチューニングした例では、量子化によりモデルサイズが3.8倍減少し、レイテンシが2.4倍高速化されました。量子化による精度低下はほとんどなく、元のモデルと同等の精度(87.6%)を維持しました。
- IntelとHugging Faceが、Optimum IntelにOpenVINOを統合し、Transformerモデルの推論高速化を実現するツールをリリース
- OpenVINO NNCFを用いたモデル量子化により、Vision Transformerモデルのサイズが3.8倍減少、レイテンシが2.4倍高速化、精度は87.6%を維持
IntelとHugging Faceの協業により、AIモデルの推論最適化がより身近になった点が重要。特に、量子化によるモデルサイズ3.8倍削減とレイテンシ2.4倍短縮を精度低下ほぼゼロで達成したことは、エッジAIやオンプレミス推論の実用性を大きく高める。Intelのプロセッサ上でのAIワークロード最適化が進むことで、半導体企業としてのIntelのAI分野での競争力強化にも寄与する。オープンソースエコシステムとハードウェアアクセラレーションの融合トレンドを示す好例であり、AI推論の効率化に取り組むスタートアップやクラウド事業者への波及効果にも注目したい。