NuminaMath、第1回AIMOプログレス賞を受賞:AI数学の進歩と技術詳細
How NuminaMath Won the 1st AIMO Progress Prize
Numinaイニシアチブは、AI数学(AI4Maths)の分野における進歩を目指すオープンソースプロジェクトである。第1回AI Math Olympiad(AIMO)プログレス賞を受賞したNuminaMathの技術的詳細が解説されている。同チームは、Mistral AI、Hugging Face、General Catalyst、Answer.aiなどの支援を受け、2024年初頭にLLMファインチューニングの専門家を加えてAIMOの課題に挑んだ。AIMOは、AIモデルが国際数学オリンピック(IMO)で金メダルを獲得することを目指す$5Mの賞金付きコンペティションであり、プログレス賞はその中間目標達成を称えるものである。第1回プログレス賞はKaggleコンペティションとして開催され、NuminaMathはDeepSeekMath-Base 7Bモデルを「推論エージェント」としてファインチューニングし、Python REPLを用いた計算と組み合わせることで、ツール統合推論(TIR)と自己整合性(SC)を組み合わせたSC-TIRアルゴリズムを開発し、受賞に至った。このモデルは、MuMath-Code論文の2段階ファインチューニング手法(CoTデータセットでのStage 1、TORAフォーマットの合成データセットでのStage 2)に基づいている。MATHベンチマークでの評価では、NuminaMath-7B-TIRは68.2%の精度を示し、他のオープンおよびプロプライエタリモデルを上回った。コンペティションの制約(T4 GPU、限られた時間、評価APIのランダム性)に対応するため、モデルの8ビット量子化や、多数の候補生成と多数決による多数決投票(N=48, M=4)などの戦略が採用された。過学習を防ぐため、AMCやAIME、MATHデータセットを基にした4つの内部検証セットが使用された。Numinaは今後も数学分野におけるAIと人間の知能の発展を目指し、貢献者やパートナーを募集している。
- NuminaMathが第1回AIMOプログレス賞を受賞した
- NuminaMathがDeepSeekMath-Base 7Bモデルを基にSC-TIRアルゴリズムを開発し公開した
- NuminaイニシアチブがMistral AI、Hugging Face、General Catalyst、Answer.aiなどの支援を受けた
NuminaMathが第1回AIMOプログレス賞を受賞したことで、オープンソースの数学特化AIモデルがクローズドな大手AIモデル(GPT-4など)に匹敵する性能を達成できることが示された。特に、小規模モデル(7Bパラメータ)でツール統合推論(TIR)と自己整合性(SC)を組み合わせたアプローチは、限られた計算リソースでも高い推論精度が得られる点で注目に値する。Mistral AI、Hugging Face、General Catalystといった主要プレイヤーが支援していることも、この分野への投資関心の高まりを裏付けている。数学的推論能力は、エンジニアリング、科学研究、金融モデリングなど多方面でのAI応用の基礎となるため、この進展はAI業界全体の競争構造に影響を与える可能性がある。