DeepSeek-R1 の完全オープン再現リポジトリ
Open Reproduction of DeepSeek-R1
DeepSeek-R1 の完全なオープン再現を目指すリポジトリが公開された。このプロジェクトは、R1パイプラインの欠けている部分を構築し、誰もが再現・改良できるようにすることを目標としている。主な構成要素として、モデルのトレーニングや合成データ生成を行うスクリプト(src/open_r1)、Makefileが含まれる。プロジェクトは3つの主要ステップで構成される:(1) R1-Distillモデルのレプリケート、(2) DeepSeekがR1-Zero作成に使用した純粋なRLパイプラインのレプリケート、(3) ベースモデルからRLチューニングまでのマルチステージトレーニングの実現。既に、ステップ1完了として、350kの検証済みトレースからなる推論データセット「Mixture-of-Thoughts」がリリースされ、OpenR1-Distill-7Bモデルのトレーニングレシピが提供されている。また、10kの競技プログラミング問題と100kのソリューションを含む「CodeForces-CoTs」データセットや、IOI24ベンチマークもリリースされている。インストールにはuv、vLLM、FlashAttentionなどが推奨されており、Hugging FaceやWeights and Biasesへのログイン、Git LFSのインストールが必要となる。トレーニングはAccelerateライブラリを使用し、DDPまたはDeepSpeed(ZeRO-2/3)をサポートする。モデルの評価にはlightevalが使用され、AIME 2024、MATH-500、GPQA Diamond、LiveCodeBenchなどのベンチマークでの再現結果が示されている。
- DeepSeek-R1の完全オープン再現を目指すリポジトリが公開され、350kの検証済み推論データセット「Mixture-of-Thoughts」がリリースされた
- OpenR1-Distill-7Bモデルのトレーニングレシピが提供され、AIME 2024やMATH-500など複数ベンチマークでの再現結果が示された
- 10kの競技プログラミング問題と100kソリューションを含むCodeForces-CoTsデータセットがリリースされた
DeepSeek-R1を完全オープンに再現しようとするプロジェクトが具体化しており、AI業界におけるオープンソースAIの民主化と競争激化を示す重要な動き。特に、Hugging Faceが主導し、検証済みの推論データセットやベンチマーク結果が既に公開されている点は、クローズドなLLM開発モデルに対する現実的な代替手段が急速に整備されつつあることを示す。投資家は、AIモデルのコモディティ化が加速し、競争優位性が「モデルそのもの」から「データ・インフラ・アプリケーション層」にシフトする流れを注視すべき。