ONNX RuntimeとOliveによるSD TurboおよびSDXL Turbo推論の高速化
Accelerating SD Turbo and SDXL Turbo Inference with ONNX Runtime and Olive
SD TurboとSDXL Turboは、従来のStable Diffusionモデルよりも大幅に高速な画像生成モデルである。ONNX Runtimeを使用することで、これらのモデルの推論速度が向上し、Python以外の言語(C#、Java)からも利用可能になる。ONNX RuntimeのCUDAおよびTensorRT実行プロバイダーにおける最適化により、NVIDIA GPU上での推論が大幅に高速化され、PyTorchと比較してSDXL Turboで最大229%、SD Turboで最大120%のスループット向上が達成された。Oliveは、ハードウェアを考慮したモデル最適化ツールであり、ONNX Runtimeによる高速化に貢献している。 fp16 VAEの有効化や、static shapeとdynamic shapeの最適化についても言及されている。コミュニティによる.NETライブラリ(OnnxStack)やJavaサンプル(SD4J)も開発されている。ベンチマーク結果では、A100-SXM4-80GB GPUとRTX-4090 GPUを使用し、特定のバージョンと設定下での性能が示されている。今後の展望として、LoRA、IP Adapter、Stable Video Diffusion、ControlNetなどの新機能サポートや、Windows UIへの対応、C#チュートリアルの公開が予定されている。
- MicrosoftがONNX RuntimeとOliveを用いてSD TurboおよびSDXL Turboの推論最適化を発表し、PyTorch比でSDXL Turboは最大229%、SD Turboは最大120%のスループット向上を達成した
- コミュニティによる.NETライブラリOnnxStackおよびJavaサンプルSD4Jが開発され、C#やJavaからのStable Diffusion利用が可能になった
Microsoftが主導するONNX RuntimeとOliveによるStable Diffusion(SD Turbo / SDXL Turbo)の推論最適化は、同技術をGPU上でPyTorch比2倍超のスループットで動作させる成果であり、画像生成AIの実運用コスト削減と、C#/Javaなど多言語からの利用を現実化する。これはAI推論のLinux/Python依存からの脱却を促し、エンタープライズ向けAI導入の敷居を下げる点で注目される。特にNVIDIA GPUとの組み合わせで顕著な性能向上を示しており、GPUベンダーとランタイム技術の相互依存関係が強まることを示唆する。