Visual Salamandra: マルチモーダル理解の限界を押し広げる

GoogleのSigLIPエンコーダーと高度な late-fusion 技術を統合した「Visual Salamandra」は、画像、動画、テキストの多様な入力を理解し、文脈に応じた応答を生成するマルチモーダルAIモデルです。4段階のトレーニングプロセス(プロジェクター事前学習、高品質ビジョン事前学習、指示チューニング、フルマルチモーダルチューニング)を経て、610万件の指示チューニングインスタンス(うち84万件はテキストのみ)を含む多様なデータセットで学習されました。特に欧州の言語的多様性に焦点を当て、多言語対応を強化しています。応用分野は、VQA、OCR、文書・チャート理解、数理推論、指示ベースの画像操作、動画要約など多岐にわたります。ただし、不確かな入力に対する幻覚、複雑なOCRや文書レイアウトの課題、潜在的なバイアスや不正確さといった限界も指摘されており、Apache 2.0ライセンスで公開されています。