StarCoder2とThe Stack v2:コード用オープンLLMファミリーと大規模データセット
StarCoder2 and The Stack v2
StarCoder2は、3B、7B、15Bパラメータの3つのサイズを持つコード用オープンLLMファミリーである。フラッグシップモデルのStarCoder2-15Bは、The Stack v2から取得した4兆トークン以上と600以上のプログラミング言語で学習された。全モデルはGrouped Query Attention、16,384トークンのコンテキストウィンドウ、4,096トークンのスライディングウィンドウアテンションを使用し、Fill-in-the-Middle目的で学習された。StarCoder2-3BはServiceNow、StarCoder2-7BはHugging Face、StarCoder2-15BはNVIDIAによって学習された。The Stack v2は、LLM事前学習に適した最大のオープンコードデータセットであり、The Stack v1よりも大きく、改良された言語・ライセンス検出手順とフィルタリングヒューリスティックを備えている。このデータセットはSoftware Heritageアーカイブから派生しており、Hugging Face Hubでアクセス可能である。BigCodeはHugging FaceとServiceNowが共同で主導するオープン科学コラボレーションである。
- StarCoder2(3B/7B/15Bパラメータ)がコード用オープンLLMファミリーとして公開された
- The Stack v2がLLM事前学習向け最大のオープンコードデータセットとして公開された
StarCoder2は複数企業・組織の協業(ServiceNow, Hugging Face, NVIDIA)により開発されたコード生成特化型オープンLLMであり、オープンソースのコード生成モデル分野での競争激化を示す。特に15Bパラメータモデルが4兆トークン以上・600以上のプログラミング言語で学習された点は注目に値し、コードアシスタント市場におけるオープンモデルの台頭を加速させる可能性がある。NVIDIAが最大モデルの学習を担当したことは、同社のGPU需要をさらに促進する追い風と言える。またThe Stack v2の公開は、コードLLM分野への参入障壁を下げ、スタートアップや研究機関の参入を促すため、競争環境の変化に留意すべき。