Google、新しい命令型ビジョン言語モデル「PaliGemma 2 Mix」を発表
PaliGemma 2 Mix - New Instruction Vision Language Models by Google
Googleは、SigLIPとGemma 2をベースにした新しい事前学習済みビジョン言語モデル(VLM)ファミリー「PaliGemma 2」を発表しました。このモデルは3B、10B、28Bの3つのサイズと、224x224、448x448、896x896の3つの解像度で提供されます。今回新たに、OCR、長短キャプション生成など、様々なビジョン言語タスクでファインチューニングされた「PaliGemma 2 Mix」モデルがリリースされました。Mixモデルは、事前学習済みモデルをダウンストリームタスクでファインチューニングした場合のパフォーマンスを迅速に把握するのに役立ちます。PaliGemmaモデルファミリーの主な目的は、汎用的なチャットモデルではなく、ダウンストリームタスクでより良く学習できる事前学習済みモデルを提供することです。PaliGemma 2 Mixモデルは、一般的なビジョン言語タスク、ドキュメント理解、画像内のテキスト認識、物体検出、画像セグメンテーションなど、多様なタスクを実行できます。プロンプトは、以前の反復処理で必要だったタスクプレフィックスなしのオープンエンドプロンプトでより良いパフォーマンスが得られます。モデルはTransformersライブラリを通じて利用可能で、デモも提供されています。
- GoogleがPaliGemma 2 Mix(ビジョン言語モデルファミリー)を発表・リリースした
GoogleがPaliGemma 2 Mixという新しいVLMファミリーをリリースした。3B/10B/28Bの3サイズ、3種類の解像度、多様なビジョン言語タスクをカバーする点が競争力の源泉であり、特にOCRやドキュメント理解といった実用的な領域にフォーカスしている点は、マルチモーダルAIの応用範囲拡大を示す。オープンエンドプロンプトで高性能を発揮するようになったことで、従来のようにタスクごとにプロンプトを設計する手間が減り、導入障壁が下がるため、AIの産業応用が加速する可能性がある。投資家としては、GoogleのAIエコシステムへの継続投資と、ファインチューニング済みモデル提供による市場浸透戦略に注目したい。