LLM生成GPUカーネルのための契約グレード検証器と、Gated-Linear-Recurrenceファミリー向けのネイティブBlackwellバックワード
A Contract-Grade Verifier for LLM-Generated GPU Kernels
大規模言語モデル(LLM)が生成したGPUカーネルの正確性を検証する新しいシステムが開発された。従来の検証方法は、少数のランダムな入力と固定された形状での実行結果が参照値に近いかどうかを確認するのみであり、カーネルが実際には間違っている場合(NaNや無限大を返す、実行ごとに結果が変わる、形状が変わると壊れる、fp16での累積誤差など)を見逃す可能性があった。今回開発された検証器は、12個の敵対的ゲート(カーネルが満たすべき性質)からなり、そのうちいくつかは許容誤差がないため、閾値の設定で誤魔化すことができない。この検証器は、公開システムで既に正しいとされた2,638個の機械生成カーネルを監査した結果、39.5%が許容誤差を超えて壊れており、62.1%が少なくとも1つの違反を抱えていることが判明した。従来のテストでは1,487個のカーネルが検証器によって却下されたが、逆に検証器が却下したのは14個だった。さらに、この検証器は、Gated-Linear-Recurrence(GDN)ファミリー向けの初のネイティブBlackwellトレーニングバックワード(逆状態ステージを含む)の正確性も評価した。LLMによるカーネル生成の進捗の背後にある正確性のシグナルは、報告されている数値よりもはるかに弱いことが示唆されており、許容誤差のない一連の契約がこのギャップの大部分を埋める可能性がある。
- 新開発の検証器は12個の敵対的ゲートからなり、許容誤差のない契約を含むため閾値設定による回避ができない
- 公開システムで正しいとされた2,638個の機械生成カーネルを監査し、39.5%が許容誤差を超えて壊れており、62.1%が少なくとも1つの違反を抱えていることを発見
- Gated-Linear-Recurrence(GDN)ファミリー向けの初のネイティブBlackwellトレーニングバックワードの正確性を評価
LLMが生成するGPUカーネルの正確性を検証する新システムの登場は、AIによるコード生成が実際のハードウェア実装に応用される際の信頼性課題に切り込むもの。公開システムで「正しい」とされた機械生成カーネルの約4割が許容誤差を超えて壊れているという検証結果は、LLMコード生成の実用性評価に大きな影響を与えるため、AIインフラ・コンパイラ領域の投資判断の材料として注目に値する。