Intel Xeon 上の StarCoder モデルを 🤗 Optimum Intel で高速化:Q8/Q4 および Speculative Decoding
Accelerate StarCoder with 🤗 Optimum Intel on Xeon: Q8/Q4 and Speculative Decoding
この記事では、Intel Xeon プロセッサ上で大規模言語モデル(LLM)である StarCoder の推論を高速化する手法について解説しています。具体的には、INT8 および INT4 量子化、および Speculative Decoding の実装である Assisted Generation (AG) を用いて、StarCoder-15B モデルの推論速度を最大で7倍以上向上させることに成功しました。INT8 量子化には SmoothQuant アルゴリズムを使用し、精度を維持したまま約2.19倍の TTFT (Time To First Token) および約2.20倍の TPOT (Time Per Output Token) の高速化を達成しました。INT4 量子化では、Groupwise RTN を採用することで精度低下を抑えつつ、TPOT で約3.35倍の高速化を実現しましたが、TTFT は dequantization のオーバーヘッドにより低下しました。さらに、AG と 8bit SmoothQuant を組み合わせることで、TPOT で約7.30倍の顕著な高速化が得られました。これらの最適化は、Hugging Face Spaces 上のデモで体験可能です。
- Intel Xeon CPU上でStarCoder-15BモデルのINT8量子化(SmoothQuant)とAssisted Generationの組み合わせにより推論速度を最大7.30倍に高速化
- INT8量子化(SmoothQuant)によりStarCoder-15BのTTFTを約2.19倍、TPOTを約2.20倍高速化
- INT4量子化(Groupwise RTN)によりStarCoder-15BのTPOTを約3.35倍高速化
Intel Xeon上でのLLM推論高速化(最大7倍超)は、Intelのデータセンター向けCPUがAI推論ワークロードで競争力を持つことを示す。特にSmoothQuantによるINT8量子化とAssisted Generationの組み合わせは、既存Xeonユーザーが追加GPU投資なしにLLM推論を劇的に高速化できる可能性を示唆しており、IntelのサーバーCPU需要を下支えする材料となる。一方、INT4量子化でのTTFT低下はレイテンシ重視のユースケースでは課題だが、スループット重視用途では有用。