LAVE: LLMを活用したDocmatixにおけるゼロショットVQA評価 - ファインチューニングは不要か?

本記事では、DocmatixデータセットにおけるゼロショットVQA評価において、従来の評価指標(CIDER, BLEU, ANLS)が不十分である可能性を指摘し、LLM(大規模言語モデル)を活用した新しい評価指標「LAVE(LLM-Assisted VQA Evaluation)」を提案している。Docmatixは既存のデータセットより100倍大きい合成データセットであり、従来の評価指標では、生成された回答が意味的に正しくても、フォーマットや表現の違いから低スコアになる問題があった。LAVEは、LLMに回答の評価と理由付けを行わせることで、人間の知覚により近い評価を目指す。MPLUGDocOwl1.5をベースモデルとして200サンプルのDocmatixデータセットで評価した結果、LAVEは従来の指標よりも高いスコア(0.58)を示し、LLMによる評価で約50%の精度向上が見られた。これは、現在の評価指標が厳しすぎる可能性を示唆しており、合成データセットにおけるゼロショット性能の評価方法の改善と、より効率的なアプローチの探求に繋がる可能性が示唆されている。