Google、改良された多言語対応ビジョン言語エンコーダー「SigLIP 2」を発表

Googleは、多言語対応のビジョン言語エンコーダー「SigLIP 2」を発表しました。SigLIP 2は、SigLIPの学習目標を拡張し、意味理解、位置特定、密な特徴量の向上を目指しています。SigLIP 2モデルは、ゼロショット分類、画像-テキスト検索、VLM(Vision-Language Models)のための視覚表現抽出における転移性能など、あらゆるスケールで従来のSigLIPモデルを上回ります。動的解像度に対応する「naflex」バリアントも提供され、アスペクト比や解像度に敏感な下流タスクに有用です。SigLIP 2では、デコーダーの導入による位置認識の向上、グローバル・ローカル損失やマスク予測損失による詳細な局所セマンティクスの改善、そして動的解像度に対応するNaFlexバリアントといった新しい学習目標が導入されています。Hugging FaceのTransformersライブラリを通じて、SigLIP 2モデルの推論や利用が可能になっています。