StarCoder2-Instruct: コード生成のための完全な透明性と許可を持つ自己アライメント

StarCoder2-15B-Instructは、HumanEvalスコア72.6を達成し、CodeLlama-70B-Instructを上回った。LiveCodeBenchでの評価では、GPT-4から蒸留されたデータで学習したモデルよりも優れており、LLMは自身の分布内のデータからより効果的に学習できる可能性を示唆している。データ生成パイプラインは、許可されたライセンスを持つソースコードのコーパスであるThe Stack v1から高品質なシード関数を抽出し、多様で現実的なコード命令を作成し、実行ガイド付きの自己検証を通じて高品質な応答を生成する3つのステップで構成される。このフィルタリングパイプラインにより、500万の関数から25万のPython関数が抽出された。Self-OSS-Instructを使用して、ベースのStarCoder2-15Bがコードスニペットから命令を自己生成する。最終的なSFTデータセットには、StarCoder2-15B-Instructが生成したテストで検証された応答が含まれる。StarCoder2-15B-Instructは、透明で許可されたパイプラインで70以上のHumanEvalスコアを達成した初のコードLLMであり、OctoCoderを大幅に上回る。また、Grok-1、Command-R+、DBRXを上回り、Snowflake Arctic 480BやMixtral-8x22B-Instructに匹敵する性能を持つ。さらに、Gemini ProやMistral Largeを上回り、CodeLlama-70B-Instructに匹敵する。このモデルは、より強力な教師モデルに依存せずに強力な命令チューニングされたコードモデルを作成できることを示しており、自己アライメントがコードにも有効であることを実証している。データセットとパイプライン全体はオープンソースで公開されている。