Google、最先端のオープンビジョン言語モデル「PaliGemma」を発表
PaliGemma – Google's Cutting-Edge Open Vision Language Model
Googleは、画像とテキストを入力として受け取りテキストを出力する新しいビジョン言語モデルファミリー「PaliGemma」を発表しました。PaliGemmaは、SigLIP-So400mを画像エンコーダー、Gemma-2Bをテキストデコーダーとして採用しています。事前学習済み(pt)、ミックス(mix)、ファインチューニング済み(ft)の3種類のモデルが、異なる解像度と精度でHugging Face Hubで公開されています。これらのモデルは、画像キャプション生成、画像に関する質問応答、物体検出、セグメンテーションなどのタスクに対応可能です。特に、mixモデルは様々なタスクでファインチューニングされており、対話的なテストに適しています。また、研究コミュニティ向けに、特定の学術ベンチマークに特化したftモデルも提供されています。PaliGemmaは、transformersライブラリとの統合により、推論やファインチューニングが容易に行えるよう設計されています。
- Googleが新しいビジョン言語モデルファミリー「PaliGemma」を発表
- PaliGemmaモデルがHugging Face Hubで公開された
GoogleがGemmaファミリーのビジョン言語モデル「PaliGemma」をリリースしたことは、オープンなVLM分野における競争の激化を示す。Gemma-2BをベースにSigLIP画像エンコーダーを組み合わせ、異なる解像度・精度のバリエーションをHugging Faceで公開しており、研究コミュニティでの採用を強く意識した戦略。オープンモデルとしてAI開発の民主化に寄与する一方で、Google CloudやVertex AIとの連携が進めばエコシステム内での囲い込みにもつながる。transformersライブラリとの統合により、導入障壁が低く、AI/MLスタートアップが画像認識系アプリケーションを短期間で構築する基盤として注目すべき。