Docmatix - Document Visual Question Answeringのための大規模データセット
Docmatix - a huge dataset for Document Visual Question Answering
Docmatixは、Document Visual Question Answering (DocVQA) のための大規模データセットであり、240万枚の画像と950万件の質問応答ペアを含み、既存のデータセットと比較して240倍の規模を持つ。このデータセットは、130万件のPDF文書から生成され、PDFAデータセットのテキストを基にPhi-3-smallモデルで質問応答ペアが生成された。生成されたペアの15%は幻覚(hallucination)としてフィルタリングされ、コードを含む回答や「unanswerable」というキーワードを含む回答は除外された。Docmatixを用いたFlorence-2モデルのファインチューニングにより、DocVQA性能が約20%向上することが示された。このデータセットは、プロプライエタリなVLMとオープンソースVLMの性能差を埋めることを目的としている。
- Docmatixデータセットが公開された(240万枚の画像、950万件のQAペア)
- Docmatixを用いたFlorence-2のファインチューニングによりDocVQA性能が約20%向上したことが示された
Docmatixは公開された大規模データセットであり、プロプライエタリVLMとオープンソースVLMの性能差を埋めることで、AIモデルの民主化を加速させる可能性がある。特にFlorence-2のDocVQA性能を20%向上させた点は、ドキュメント処理AIの応用範囲(契約書分析、経理処理、営業資料解析など)を広げ、企業の業務効率化に直結する。データセットの品質管理(幻覚フィルタリングなど)も行われており、実用性が高い。オープンソースLLM/VLMエコシステムの成長を示す指標として、投資先のAIスタートアップ評価に有用な情報。