Gemma 4 12B のビジュアルガイド:エンコーダーフリーのマルチモーダルモデル

Google DeepMindは、新しいマルチモーダルモデル「Gemma 4 12B」を発表しました。このモデルは、従来のエンコーダー(画像・音声処理用)を廃止し、LLM自体が直接入力を処理する「エンコーダーフリー」アーキテクチャを採用しています。これにより、推論時のレイテンシ削減とパラメータ数の削減が期待されます。画像処理では、従来のエンコーダーに代わり軽量な埋め込みモジュールを使用し、位置情報を付与してLLMに渡します。音声処理では、生の音声入力を直接線形射影層に通してLLMが扱える次元に変換します。Gemma 4 12Bは、既存のE4Bと26B A4Bモデルの中間に位置し、12GBから16GBのVRAM環境に適しています。