Kimi K3をMI355Xで実行し、B300よりも優れたパフォーマンス/ドルを実現

オープンソースの大規模言語モデル(LLM)であるKimi K3(2.8兆パラメータ)は、そのサイズからNVIDIAのB200 GPUでは単一ノードで動作せず、B300ノードまたは2つのB200ノードが必要となる。AMDのMI355X GPUは288GBのVRAMを持ち、B300 GPUと比較して約2.4倍安価である。MI355Xは、ソフトウェアサポートの課題はあるものの、Kimi K3との互換性があり、1024トークン入力/400トークン出力のベンチマークで、B200ノード(TP16)と比較してノードあたり3.8倍以上の集約スループットと、単一ストリームで1.3倍以上のデコード性能を達成した。B300ノードは集約スループットでMI355Xを1.65倍上回るが、価格差を考慮するとMI355Xはパフォーマンス/ドルで優位に立つ。 speculative decodeの修正により単一ストリーム性能が約2.2倍向上し、prefill最適化ではAITER MLA prefillカーネルの利用により、コールドprefill時間を2〜3倍短縮した。