Google、新オープンLLM「Gemma 2」を発表
Welcome Gemma 2 - Google’s new open LLM
Googleは、最新のオープン大規模言語モデル(LLM)であるGemma 2を発表しました。Gemma 2は、90億および270億パラメータの2つのサイズで提供され、それぞれベースモデルとインストラクションチューニング済みモデルがあります。このモデルは、Google DeepmindのGeminiを基盤とし、コンテキスト長は8Kトークンです。Gemma 2は、前世代と比較して約2倍のデータ(27Bモデルで13兆トークン、9Bモデルで8兆トークン)でトレーニングされており、Webデータ、コード、数学に焦点を当てています。ライセンスは前世代と同様に、再配布、ファインチューニング、商用利用が可能な寛容なライセンスです。技術的な進歩として、スライディングウィンドウアテンション、ロジットソフトキャッピング、知識蒸留(9Bモデル)、モデルマージ(Warp技術)が導入されています。Gemma 2はGoogle Cloud TPUでトレーニングされ、インストラクションチューニング版は対話アプリケーション向けに最適化されています。Hugging Face Transformersとの連携や、Hugging Chatでのデモ、Inference Endpointsへのデプロイも可能です。ファインチューニングには、QLoRAなどの手法が利用でき、4ビット量子化によりコンシューマー向けGPUでも実行可能です。
- GoogleがオープンLLM「Gemma 2」(90億・270億パラメータ)を発表
- Gemma 2に知識蒸留(9Bモデル)とモデルマージ(Warp技術)が導入された
GoogleがGeminiを基盤にしたオープンLLM「Gemma 2」をリリースしたことは、オープンモデル市場における競争をさらに激化させる。90億・270億パラメータの2サイズ展開、知識蒸留やモデルマージ(Warp)などの最新技術の採用、商用利用可能な寛容なライセンス、4ビット量子化によるConsumer GPUでの実行可能性は、エッジAIや小規模デプロイのユースケースを拡大する。MetaのLlama 3への対抗馬として、今後のオープンLLMエコシステムの勢力図を変える可能性があり、AIインフラ・推論最適化・ファインチューニングサービス関連スタートアップへの波及効果に注目したい。