Claudeを活用してCUDAカーネルを生成し、オープンモデルを訓練する方法

この記事では、「upskill」という新しいツールを使用して、大規模言語モデル(LLM)でエージェントスキルを生成・評価し、それらを小規模モデルで利用する方法を解説しています。具体例として、Claudeを用いてdiffusersモデル用のCUDAカーネルを生成し、その性能をベンチマークしています。このプロセスは、コスト削減や、特定ドメインの専門的な問題に小規模モデルを活用するのに役立ちます。エージェントスキルは、モデルのコンテキストをファイルとして定義するもので、生成、共有、レビューが容易です。Claude Codeを使用してカーネルを生成し、そのトレースをエクスポートした後、「upskill」ツールを使ってスキルファイルを作成します。このスキルは、小規模モデルの性能向上に役立ち、テストケースも自動生成されます。これにより、高価なモデルで作成したスキルを、安価なモデルやローカルモデルで展開することが可能になります。例えば、「unsloth/GLM-4.7-Flash-GGUF」のようなローカルモデルでも、CUDAカーネル作成タスクにおいてスキル適用後に性能が45%向上することが示されています。upskillは、専門知識を大規模モデルから小規模モデルへ移転させるための教師・生徒アプローチを採用しており、スキル作成、テストケース生成、性能評価、失敗に基づく改善といった一連のプロセスを自動化します。