Cerebras、ウェハースケールチップによる数兆パラメータ規模のAIモデル展開手法を解説

Cerebrasは、オンチップメモリ44GBを備えるWSE-3Tウェハーを用いて、約3兆パラメータのオープンソースモデル「Kimi K3」を毎秒1000〜2000以上のトークン速度で実行する仕組みを説明した。4ビット量子化により各層約16GBとなるモデルに対し、KVキャッシュが必要な24のDense層に24枚、不要な69の線形Attention層に35枚の計59枚のウェハーを割り当てる。重みをチップ上に常駐させてウェハー間はRDMA経由で活性化値のみを転送(ホップあたり約2マイクロ秒)し、パイプライン並列とマイクロバッチを用いて多数の同時リクエストを処理する。