IDEFICS: 最新のビジュアル言語モデルのオープン再現版
Introducing IDEFICS: An Open Reproduction of State-of-the-art Visual Langage Model
Hugging Faceは、最先端のビジュアル言語モデルであるIDEFICSを公開しました。IDEFICSは、画像とテキストのシーケンスを入力として受け取り、一貫したテキストを生成する800億パラメータのマルチモーダルモデルです。これは、Flamingoのような大規模な独自モデルに匹敵する能力を持つオープンソースの再現版であり、透明性を高めることを目的としています。IDEFICSは、公開データセット(Wikipedia、Public Multimodal Dataset、LAION)と新たに作成された115BトークンのOBELICSデータセットを組み合わせて学習されました。OBELICSは、ウェブから収集された1億4100万の画像とテキストのドキュメントで構成されています。IDEFICSには、800億パラメータと90億パラメータの2つのバリアントがあり、さらに会話用にファインチューニングされたバージョンも提供されています。モデルのアーキテクチャ、学習方法、評価、およびデータセットに関する詳細は、モデルカードと研究論文で公開されています。また、モデルの学習における技術的な洞察や教訓も文書化されており、開発に関する貴重な視点を提供しています。IDEFICSは、MITライセンスまたは非商用ライセンスの下でリリースされた2つの事前学習済みモデル(laion/CLIP-ViT-H-14-laion2B-s32B-b79Kおよびhuggyllama/llama-65b)を基盤として構築されています。追加で学習された重みはMITライセンスでリリースされています。IDEFICSモデルはHugging Face Hubで利用可能であり、最新のtransformersバージョンでサポートされています。
- Hugging Faceが800億/90億パラメータのビジュアル言語モデルIDEFICSをオープンソース公開
- IDEFICSの基盤としてlaion/CLIP-ViT-H-14とhuggyllama/llama-65bを採用、追加学習重みをMITライセンスで公開
Hugging FaceがFlamingo相当のマルチモーダルモデルIDEFICS(800億/90億パラメータ)をオープンソース公開したことで、画像×テキスト処理の民主化が加速する。OpenAIがクローズドで進めるGPT-4V等に対して、OSS陣営が追従可能であることを示し、AIモデル市場の競争構図を変える可能性がある。また、新データセットOBELICSの公開は学習データ不足の課題解決につながり、エコシステム全体の活性化要因となる。