Intel、LLMとVLM向けの高度な量子化手法「AutoRound」を発表
Introducing AutoRound: Intel’s Advanced Quantization for LLMs and VLMs
Intelは、重みのみの学習後量子化(PTQ)手法である「AutoRound」を発表した。これは、勾配降下法を用いて重みの丸めとクリッピング範囲を同時に最適化し、精度低下を最小限に抑えながら低ビット(INT2~INT8)量子化を実現する。INT2量子化では、既存手法と比較して相対精度が最大2.1倍向上する。72Bモデルの量子化もA100 GPUで37分と高速で、混合ビットチューニング、lm-head量子化、GPTQ/AWQ/GGUF形式のエクスポート、柔軟なチューニングレシピに対応する。AutoRoundは、特に低ビット量子化シナリオで高い性能を発揮し、2ビット精度では多くの人気手法を大きく上回る。4ビットでも競争力のある性能を維持する。Qwen、LLaMA、DeepSeekなどのLLMや、Mistral-Small-3.1、Gemma3などのVLMをサポートし、Hugging Faceで量子化済みモデルが利用可能。AutoRoundは、わずか200回のチューニングステップと128サンプル程度のキャリブレーションデータセットで高精度を達成し、計算集約的な他のINT2手法と比較して高速かつリソース消費が少ない。auto-round-bestとauto-round-lightの2つのレシピも提供され、それぞれ最適な精度と速度を追求する。
- IntelがLLM/VLM向け量子化手法「AutoRound」を発表・公開した
Intelが公開したAutoRoundは、LLM/VLMの低ビット量子化において既存手法を大きく上回る精度を達成しており、エッジAIやオンデバイス推論のコスト削減・高速化に直結する技術。特にINT2量子化での精度向上は顕著で、大規模モデルの実用的な小型化が進めば、AIチップ市場におけるIntelの競争力強化につながる可能性がある。Intelが自社GPU(Intel Gaudiなど)向けだけでなくHugging Face経由で広く提供している点も、エコシステム拡大戦略として注目に値する。