小から大への証拠主導型コラボレーションによる構造化マルチレベル知識拡張(知識ベースVQA向け)
Structured multi-level knowledge augmentation via small-to-large evidence-guided collaboration for knowledge-based VQA
知識ベースの視覚的質問応答(KB-VQA)において、既存手法は視覚コンテンツと質問意図の不十分な連携、およびエンティティレベルの意味論の曖昧さという課題を抱えている。これに対し、凍結LLMベースのKB-VQA向け推論時証拠拡張フレームワークを提案する。このフレームワークは軽量なビジョン・言語モデルを用いて構造化テキスト証拠を構築し、それを凍結LLMに提供して最終的な推論を行う。新しいLLMアーキテクチャや学習メカニズムではなく、質問関連のマルチモーダル証拠をLLM推論前に体系的に構築、洗練、整理する方法に焦点を当てる。フレームワークは4つの証拠構築モジュールから成る:(1) 質問指向画像情報抽出モジュール(視覚・意味論的整合性向上)、(2) エンティティ強化モジュール(エンティティレベルの曖昧さ軽減)、(3) 候補ガイド回答生成モジュール(推論空間の制約)、(4) 文脈的模倣例検索モジュール(知識根拠推論の支援)。OK-VQAとA-OKVQAでの実験では、それぞれ66.72%、69.51%の精度を達成し、強力なベースラインを上回った。
- OK-VQAとA-OKVQAでそれぞれ66.72%、69.51%の精度を達成し、強力なベースラインを上回った
本論文は、既存のLLMアーキテクチャを変更せずに推論時の証拠拡張フレームワークを構築することでKB-VQAの精度を大幅に向上させた点が注目に値する。OK-VQAで66.72%、A-OKVQAで69.51%と強力なベースラインを上回る結果を示しており、LLMの学習不要で性能向上が図れるアプローチは実用上のコスト優位性がある。マルチモーダルAIの推論精度向上は産業応用の幅を広げる要素であり、特に視覚質問応答技術はロボティクスや自動運転、産業検査など様々な分野への波及が期待される。ただし、あくまで研究段階の成果であり、商用化や具体的な製品との関連性はまだ見えないため、短期的な投資インパクトは限定的だが、中長期的なAI技術の進展方向性を示す指標として注目すべきである。