Code Llama: Llama 2がコード生成を学習
Code Llama: Llama 2 learns to code
Metaは、コード生成に特化したLlama 2のオープンアクセス版であるCode Llamaを発表しました。Code Llamaは70億、130億、340億パラメータのモデルファミリーで構成され、Llama 2をベースに5000億トークンのコードデータで学習されています。さらに、Pythonに特化したモデル(追加1000億トークン)と、自然言語指示を理解するインストラクションファインチューニング版も提供されます。これらのモデルは、Python、C++、Java、PHP、C#、TypeScript、Bashにおいて最先端の性能を示します。7Bおよび13Bモデルは、コード補完やインフィリング(コードの穴埋め)に対応しており、IDEのコードアシスタントとしての利用に適しています。Code Llamaは16kのコンテキストウィンドウで学習されましたが、追加のファインチューニングにより最大10万トークンまで拡張可能です。Hugging Faceのエコシステム(Transformers、Text Generation Inference、Inference Endpoints、VS Code拡張機能)との統合も発表され、商用利用も可能なコミュニティライセンスで提供されます。4ビット量子化による大規模モデルの消費者向けGPUでの実行や、Text Generation Inferenceを用いた効率的な推論も可能です。ベンチマークでは、HumanEvalやMultiPL-Eなどのデータセットで評価され、特にPythonやJavaScriptにおける性能が示されています。
- Metaがコード生成に特化したLlama 2ベースのモデルファミリー「Code Llama」を発表・公開
- Code LlamaがHugging FaceのTransformers、Text Generation Inference、Inference Endpoints、VS Code拡張機能と統合された
- Code Llamaが商用利用可能なコミュニティライセンスで提供開始
MetaがLlama 2ベースのコード生成特化モデル「Code Llama」をオープンアクセスかつ商用利用可能なライセンスで提供したことは、AI開発の民主化と競争激化を加速させる。特に7B/13BモデルがIDE向けコード補完・インフィリング機能を備え、Hugging Faceエコシステムと統合されている点は、GitHub Copilot等の既存サービスに対するオープンな代替手段となり得る。大規模モデルを消費者向けGPUで動かせる量子化対応も、エッジAIや個人開発者への普及を後押しする。投資家は、オープンモデル戦略がMetaのエコシステム形成・人材獲得にどう寄与するか、また競合するコード生成サービスへの影響を注視すべきである。