Open R1 プロジェクトの進捗報告 #2:数学推論データセット OpenR1-Math-220k の公開
Open R1: Update #2
Open R1 プロジェクトは、DeepSeek R1 のトレーニングパイプラインと合成データセットの再構築を目指しており、今回のアップデートでは大規模数学推論データセット「OpenR1-Math-220k」を公開した。このデータセットは、DeepSeek R1 を用いて NuminaMath 1.5 の問題から 800k の推論トレースを生成し、Math Verify と Llama3.3-70B-Instruct によるフィルタリングを経て、220k の問題と正しい推論トレースを含む。生成は 512 基の H100 GPU をローカルで利用し、1 日あたり 180k の推論トレースを生成する効率を達成した。また、このデータセットでファインチューニングした Qwen-7B-Math-Instruct モデルは、DeepSeek-Distill-Qwen-7B モデルに匹敵する性能を示した。さらに、コミュニティによる高品質な小規模データセットのキュレーションや、推論モデルの Chain-of-Thought の長さを制御する手法についても触れられている。Math-Verify の改善や、GRPO を用いた研究、小規模データセットによる推論能力の向上に関する最新動向も報告されている。
- Open R1 プロジェクトが大規模数学推論データセット「OpenR1-Math-220k」を公開
- Qwen-7B-Math-Instruct が DeepSeek-Distill-Qwen-7B に匹敵する性能を達成
- 512基のH100 GPUを用いて1日あたり180kの推論トレースを生成するパイプラインを確立
大規模数学推論データセット「OpenR1-Math-220k」の公開は、オープンソースコミュニティによる推論モデルの再現性と性能向上を示す重要な成果。DeepSeek R1 のトレーニングパイプラインをオープンに再構築する試みであり、512基のH100 GPUを用いた効率的なデータ生成パイプラインの確立は、LLM学習インフラの民主化・コスト低減に寄与する。また、Qwen-7B-Math-Instruct が DeepSeek-Distill-Qwen-7B に匹敵する性能を達成した点は、オープンデータセットの品質が十分に高いことを示唆しており、AIモデル開発競争においてデータセットの価値が再評価される契機となる。