Google、コード生成特化LLM「CodeGemma」を発表
CodeGemma - an official Google release for code LLMs
Googleは、コード生成に特化した大規模言語モデル(LLM)ファミリー「CodeGemma」を発表しました。CodeGemmaは、既存のGemmaモデルをベースに、追加で5000億トークンのデータ(主に英語、数学、コード)で追加学習されたものです。2Bと7Bのパラメータを持つベースモデルと、7Bのインストラクトモデルの3種類が提供されます。2Bモデルはコード補完と生成に特化しており、低レイテンシやプライバシーが重要な環境に適しています。7Bモデルはコード補完に加え、コードと自然言語の理解・生成も可能です。7Bインストラクトモデルは、コード、プログラミング、数学的推論に関する対話的な利用に最適化されています。これらのモデルはHugging Faceのエコシステムに統合されており、Transformersライブラリ、Google Cloud、Inference Endpointsなどで利用可能です。ベンチマークでは、CodeGemma-7BはHumanEval(Python)でDeepSeek-Coder-7Bを除く同サイズのモデルを上回り、GSM8K(数学的推論)でも7Bモデル中最高性能を示しました。コード補完タスクでは、fill-in-the-middle (FIM) という手法が用いられ、特定のトークン(``、``、``、``)を使用してコンテキストと生成箇所を区別します。モデルはbfloat16精度でリリースされますが、float16や4ビット量子化での利用も可能です。
- Googleがコード生成特化LLM「CodeGemma」ファミリー(2B, 7Bベース, 7Bインストラクト)を発表・公開
Googleがコード生成に特化したLLM「CodeGemma」をリリースしたことで、コーディングアシスタント市場における競争がさらに激化する。すでにGitHub Copilot(OpenAI)、Code Llama(Meta)、DeepSeek-Coderなどが存在する中、GoogleはGemmaモデルのエコシステムを活用し、Hugging FaceやGoogle Cloud経由での提供により開発者へのリーチを広げている。特に2Bモデルの低レイテンシ特性はエッジ・オンデバイスでのコード補完ユースケースを切り拓く可能性があり、クラウド依存度の高い競合との差別化ポイントとなり得る。また、数学的推論(GSM8K)での最高性能は、単なるコード生成に留まらない知能レベルの高さを示唆しており、AIエージェントや自動化ツールへの応用範囲が広がる点にも注目すべき。