SEMICON半導体
AMD MI355X GPUでGLM5.2を2626トークン/秒/ノードで実行、Blackwellより2倍以上低コスト
GLM5.2 on AMD MI355X at 2626 tok/s/node at over 2x lower cost than Blackwell
YHacker News
AIが原文を翻訳・要約しています
Wafer社は、AMDのMI355X GPUを使用して大規模言語モデルGLM5.2を、ノードあたり2626トークン/秒の処理能力で実行することに成功した。これは、NVIDIAのBlackwell GPUと比較して2倍以上の低コストで実現された。同社は、GLM5.2モデルをbf16からMXFP4に量子化し、推論フレームワークとしてsglangを採用した。さらに、speculative decodeの有効化やカーネル最適化により、特にプリフィル性能を向上させ、この成果を達成した。この結果は、AMD GPUがAI推論市場においてコストパフォーマンスの高い選択肢となり得ることを示唆している。
KEY POINTS要点記事から抽出した重要情報
- Wafer社がAMD MI355X GPUを用いてGLM5.2をノードあたり2626トークン/秒で実行
- NVIDIA Blackwell GPUと比較して2倍以上の低コストを実現
- GLM5.2をbf16からMXFP4に量子化し、sglang推論フレームワークを採用、speculative decodeとカーネル最適化によりプリフィル性能を向上
CONTEXT文脈編集部による背景整理
AMD MI355X GPUがNVIDIA Blackwell比で2倍以上の低コストで大規模言語モデル推論を実現したことは、AI半導体市場における競争構図の転換点を示唆する。これまでNVIDIA一強だったAI推論領域で、AMDが具体的な性能・コスト指標を示したことで、データセンター事業者の調達戦略に変化が生じる可能性がある。投資家はAMDのGPU製品ラインの進捗と、NVIDIAの価格支配力への影響を注視すべきである。
原文を読むAnalyzed at 2026年7月4日 09:01