StarCoder: コード生成に特化した最先端の大規模言語モデル
StarCoder: A State-of-the-Art LLM for Code
Hugging FaceとServiceNowが主導するBigCodeプロジェクトは、コード生成に特化した大規模言語モデル(LLM)であるStarCoderとStarCoderBaseを発表しました。これらのモデルは、GitHubから収集された80以上のプログラミング言語、Gitコミット、Issue、Jupyter Notebookなどのライセンス許諾済みのデータで学習されています。StarCoderBaseは約150億パラメータを持ち、1兆トークンで学習され、さらにPythonコード350億トークンでファインチューニングされたものがStarCoderです。StarCoderBaseは既存のオープンソースコードLLMを多くのプログラミングベンチマークで上回り、OpenAIのcode-cushman-001のようなクローズドモデルと同等以上の性能を示します。8,000トークンを超えるコンテキスト長を持ち、コード補完、指示に基づくコード修正、コードの説明などが可能です。個人情報(PII)の削除パイプラインの改善、コードの出所を追跡するツールの導入、そしてOpenRAILライセンスの改良版の下で公開されています。HumanEvalベンチマークでは、StarCoderは特定のプロンプトを用いることで、従来のスコア34%から40%以上に向上し、オープンモデルとして新たな最先端記録を達成しました。また、MultiPL-EやDS-1000といった多言語やデータサイエンスのベンチマークでも高い性能を示しています。モデルの重み、データ前処理・学習コード、評価ハーネス、PII検出ツールなどが公開されており、Hugging Faceのbigcodeリポジトリでアクセス可能です。
- Hugging FaceとServiceNowが主導するBigCodeプロジェクトが、コード生成に特化した大規模言語モデルStarCoderとStarCoderBaseを発表
- StarCoderがHumanEvalベンチマークでオープンモデルとして新たな最先端記録(40%以上)を達成
Hugging FaceとServiceNowが主導するBigCodeプロジェクトによるStarCoder/StarCoderBaseの発表は、オープンソースのコード生成LLMがクローズドモデル(OpenAI code-cushman-001)に迫る性能を達成した点で重要。150億パラメータ、1兆トークン学習、8,000トークンを超えるコンテキスト長といったスペックに加え、HumanEvalで40%超のスコアを記録しオープンモデルとして新たなSOTAを達成した。モデル重みやデータ前処理コード、PII検出ツールがすべて公開されているため、自社データによるファインチューニングや社内コードアシスタント構築が容易であり、エンタープライズ向けコード生成市場で競争力を持つ。ServiceNowがこのプロジェクトを主導している点は、同社が自社SaaSプラットフォームへのAI機能統合を強化しているシグナルと捉えられる。