Cohere、開発者向け初のモデル「North Mini Code」を発表
Introducing North Mini Code: Cohere’s First Model For Developers
Cohereは、300億パラメータ(アクティブパラメータ30億)のMixture-of-Expertsモデル「North Mini Code」をHugging FaceでApache 2.0ライセンスのもと公開した。これは、エージェント型ソフトウェアエンジニアリングタスクに特化した同社初のモデルファミリーである。North Mini Codeは、複雑なソフトウェアエンジニアリングワークフロー、ターミナルベースのエージェントタスク、高品質なコード生成に最適化されており、Artificial Analysisのコーディングインデックスで33.4点を記録し、同サイズのオープンソースモデルや、より大規模なモデルをも上回る性能を示した。モデルは、複数のスキャフォールドで学習され、OpenCodeのようなコーディングエージェントの信頼性の高い基盤となる。アーキテクチャは、スライディングウィンドウ自己注意とグローバル注意を組み合わせたTransformerベースのスパースMixture-of-Expertsモデルで、8つのエキスパートがトークンごとにアクティブ化される。学習プロセスは、2段階の教師ありファインチューニング(SFT)と、ソフトウェアエンジニアリングおよびターミナルタスクを対象とした検証可能な報酬付き強化学習(RLVR)で構成されている。SFTのデータミックスは、プログラミング、推論、指示追従を含み、コードデータが70%を占める。RLVRでは、検証可能な報酬を用いてエージェントコーディングを学習し、SWE-Bench Verifiedで80.2%、Terminal-Bench v2で55.1%のpass@10を達成した。RLVRトレーニングにより、最終モデルはTerminal-Bench v2で7.9%、SWE-Benchで3.0%の性能向上が見られた。North Mini Codeは、OpenCode、Cohere API、Hugging Faceで利用可能。
- Cohereが300億パラメータ(アクティブ30億)のMoEモデル「North Mini Code」をApache 2.0ライセンスで公開
- SWE-Bench Verifiedで80.2%、Terminal-Bench v2で55.1%のpass@10を達成
- Artificial Analysisのコーディングインデックスで33.4点を記録し、同サイズのオープンソースモデルやより大規模なモデルを上回る性能
Cohereがエージェント型ソフトウェアエンジニアリングに特化した初のモデル「North Mini Code」をオープンソースで公開した点は注目に値する。300億パラメータ(アクティブ30億)のコンパクトなMoEモデルでありながら、SWE-Bench Verifiedで80.2%を達成し、より大規模なモデルを凌駕する性能を示したことで、エッジやローカル実行でのエージェント型コーディング支援の現実性が大きく前進した。OpenCodeやCohere APIでの提供に加え、Apache 2.0ライセンスでHugging Face公開されたことで、企業内でのカスタマイズやプライベートデプロイが容易になり、エンタープライズ向けAIエージェント市場におけるCohereの競争力強化につながる可能性がある。