Idefics2: コミュニティ向け強力な8Bビジョン言語モデルの紹介
Introducing Idefics2: A Powerful 8B Vision-Language Model for the community
Hugging Faceは、テキストと画像の任意のシーケンスを入力として受け取り、テキスト応答を生成する汎用マルチモーダルモデル「Idefics2」をリリースした。Idefics2は8Bパラメータを持ち、Apache 2.0ライセンスで提供され、OCR能力が強化されている。Visual Question Answeringベンチマークにおいて、同クラスのモデルでは最高性能であり、LLava-NeXT-34BやMM1-30B-chatのようなより大きなモデルとも競合する。Idefics2は🤗 Transformersに統合されており、マルチモーダルアプリケーション向けに容易にファインチューニング可能である。このモデルは、Mistral-7B-v0.1とsiglip-so400m-patch14-384を基盤とし、Apache-2.0ライセンスで公開されている。Idefics2のトレーニングには、公開データセットの混合(Wikipedia、OBELICS、Public Multimodal Dataset、LAION-COCO、PDFA、IDL、Rendered-text、WebSight)が使用された。さらに、マルチターンの会話形式に整形された50個の手動キュレーションデータセットからなるオープンコンピレーション「The Cauldron」を用いて、インストラクションファインチューニングが行われた。Idefics2は、ネイティブ解像度とアスペクト比で画像を処理し、サブ画像分割オプションも提供する。OCR能力は大幅に強化され、画像や文書内のテキストを転写する能力や、チャート、図、文書に関する質問応答能力が向上した。アーキテクチャはIdefics1から変更され、視覚特徴と言語バックボーンの統合が簡素化された。これらの改善により、Idefics1よりも10倍小さいモデルでありながら、大幅な性能向上が実現された。
- Hugging Faceが8BパラメータのマルチモーダルモデルIdefics2をApache 2.0ライセンスで公開
- Idefics2がVisual Question Answeringベンチマークで同クラス最高性能を達成し、より大きなモデルと競合
- Idefics2がThe Cauldronデータセットを用いたインストラクションファインチューニングによりマルチターン会話能力を獲得
Hugging Faceが公開したIdefics2は、8BパラメータでLLava-NeXT-34Bなどの大規模モデルと競合する性能を示しており、小規模マルチモーダルモデルの性能上限を引き上げた点が重要。Apache 2.0ライセンスで完全公開され、Transformers統合によりファインチューニングも容易なため、エンタープライズ向け画像理解・文書分析のコスト効率の良い導入が加速する可能性がある。オープンソースのマルチモーダルモデル分野での競争激化を示唆するリリースであり、モデルの小型化と高性能化のトレンドを追う投資判断の材料となる。