AMD Matrix Coreの正確なモデル
Accurate Models of AMD Matrix Cores
AMDのCDNA 1、CDNA 2、CDNA 3アーキテクチャ(それぞれMI100、MI210/250、MI300A/300X GPU)における行列乗算器の数値挙動を特徴づける。最近のGPUに搭載されている行列乗算器はIEEE 754浮動小数点標準に準拠しておらず、ベンダー間や同一ベンダー内でもアキュムレータ幅、丸め挙動、正規化点、中間アンダーフロー/オーバーフローロジック、サブノーマル値の扱い、特殊入力の処理などが異なるため、デバイス間での結果の再現性はソフトウェア制御では達成できない。本研究では、各アーキテクチャに対応するMATLABベースのソフトウェアモデルを開発し、1000万セットのランダム入力ベクトルからなるランダムテストスイートを用いてハードウェアとのビットレベル再現性を検証した。さらに、これらのモデルを用いて、AMD Matrix CoreとNVIDIA Tensor Core間のアプリケーションレベルの精度差を定量化した。
- AMDのCDNA 1/2/3アーキテクチャ(MI100、MI210/250、MI300A/300X)における行列乗算器の数値挙動(アキュムレータ幅、丸め、正規化点、中間アンダーフロー/オーバーフロー、サブノーマル扱い)を特徴づけた
- 各アーキテクチャに対応するMATLABベースのソフトウェアモデルを開発し、1000万セットのランダム入力ベクトルでハードウェアとのビットレベル再現性を検証した
- 開発したモデルを用いてAMD Matrix CoreとNVIDIA Tensor Core間のアプリケーションレベルの精度差を定量化した
- 最近のGPUの行列乗算器はIEEE 754に準拠せず、ベンダー間・同一ベンダー内でも挙動が異なるため、デバイス間の結果再現性はソフトウェア制御では達成できないと指摘
AMDのCDNA世代別Matrix Core(行列乗算器)の数値挙動をビットレベルで再現するMATLABモデルを開発し、1000万セットのランダム入力でハードウェアとの一致を検証、さらにNVIDIA Tensor Coreとのアプリケーション精度差を定量化した研究。行列演算器がIEEE 754非準拠でベンダー間・世代間の再現性がソフトでは担保できないという事実は、AI/HPC向けアクセラレータ選定や移植コスト、数値精度を前提とした推論・科学計算ワークロードの精度保証に直結する。AMDのMI300シリーズの採用判断や、NVIDIAとの精度差が顧客のハード選択・ソフト最適化コストに影響しうる点が投資上の着眼点。