Cerebras、Qwen 3.8 27Bを1500トークン/秒で提供開始

Cerebrasは、同社のプラットフォーム上でQwen 3.8 27Bモデルを1500トークン/秒で提供開始しました。同社は、モデルの圧縮状態について透明性を保ち、公開エンドポイントではオリジナルの非剪定モデルを提供しています。研究目的でREAP(Router-weighted Expert Activation Pruning)などの剪定技術を研究していますが、剪定されたモデルはHugging Faceで共有されるものの、共有APIからは利用できません。Cerebrasは、品質を最大限に維持するため、ストレージ時には選択的な重みのみを量子化し、業界標準に沿って重みを部分的な16ビット/8ビット/4ビットで保存します。品質維持のため、デ量子化はオンザフライで行われ、演算は高精度で行われます。アクティベーション、アテンション、KVキャッシュはフル精度で量子化されません。