Google、新世代オープンLLM「Gemma 3」を発表:マルチモーダル・多言語対応、長文脈処理能力を強化
Welcome Gemma 3: Google's all new multimodal, multilingual, long context open LLM
Googleは、オープンウェイトの大規模言語モデル(LLM)ファミリーであるGemmaの最新版「Gemma 3」を発表した。Gemma 3は、1Bから27Bパラメータの4つのサイズで提供され、最大128kトークンのコンテキストウィンドウ、画像とテキストの入力を受け付けるマルチモーダル機能、140以上の言語をサポートする多言語対応が特徴である。特に、4B、12B、27Bモデルは画像処理能力を持ち、1Bモデルはテキストのみに対応する。コンテキストウィンドウ長はGemma 2の8kから、1Bモデルでは32k、それ以外は128kに大幅に拡張された。技術的には、位置エンコーディングの調整、KVキャッシュ管理の最適化、SigLIPを画像エンコーダーとして採用し、画像トークンには双方向注意を、テキストトークンには因果的注意を適用している。また、多言語対応のため、事前学習データセットにおける多言語データの量を倍増させた。トークナイザーはGemini 2.0と同じSentencePiece(262Kエントリ)を採用し、特に中国語、日本語、韓国語のエンコーディングを改善した。ベンチマークでは、Gemma-3-27B-ITはGemma-2-27B-ITを上回り、一部ではGemini 1.5 Proにも匹敵する性能を示している。Hugging FaceのTransformersライブラリやmlx-vlm、llama.cppなどのエコシステムとの連携も強化されており、容易に利用可能となっている。
- GoogleがオープンウェイトLLM「Gemma 3」を発表
- Gemma 3は最大128kトークンのコンテキストウィンドウと画像・テキスト入力対応のマルチモーダル機能を搭載
- Gemma 3は1B/4B/12B/27Bパラメータの4サイズで提供され、4B以上は画像処理に対応
GoogleがオープンウェイトLLM「Gemma 3」をリリースした。最大128kトークンの長文脈処理とマルチモーダル・多言語対応を備え、27BモデルではGemini 1.5 Proに迫る性能を示している点が注目に値する。オープンウェイト戦略はAIエコシステムにおけるGoogleのプレゼンス強化につながり、Hugging Faceやllama.cppなど主要フレームワークとの連携により開発者への浸透が加速する可能性がある。軽量な1Bモデルから27Bモデルまで揃えたラインアップは、エッジAIからサーバーサイドまで幅広いユースケースをカバーしており、GoogleのAIプラットフォーム戦略の広がりを示唆する。