構文情報と意味情報が視覚的知覚を通じた単語のグラウンディングに与える影響
The effect of syntactic and semantic information on word grounding through visual perception
本研究は、エージェントが言語的用語を知覚概念(色、形状、空間的特徴など)と関連付ける能力である単語のグラウンディングにおいて、構文情報と意味情報がどのように影響するかを定量的に評価した。5つの構成(ベースライン、単語位置インデックス、品詞タグ、FastText埋め込み、Transformerベースの文脈埋め込みを独立して組み込んだ構成)を生成的多峰性ベイズフレームワーク内で評価した。CLEVR派生の3Dシーンデータセットと類義語置換記述を用いて評価した結果、言語情報は色、幾何学、空間関係のモダリティ全体でグラウンディング精度を向上させ、文脈埋め込みはベースラインと比較してオブジェクトグラウンディング精度を絶対値で53.8%向上させた。意味埋め込みを組み込んだモデルのみが、再学習なしで類義語置換記述に効果的に一般化できた。これらの結果は、言語構造と意味表現が知覚アライメントに寄与することを示している。
- 生成的マルチモーダルベイズフレームワーク内で、ベースライン・単語位置インデックス・品詞タグ・FastText埋め込み・Transformer文脈埋め込みの5構成を比較評価した研究を公開。
- CLEVR派生の3Dシーンデータセットと類義語置換記述で評価し、Transformerベースの文脈埋め込み構成はベースライン比でオブジェクトグラウンディング精度を絶対値53.8%向上させた。
- 意味埋め込みを組み込んだモデルのみが、再学習なしで類義語置換記述に効果的に一般化できることを示した。
言語情報(構文・意味埋め込み)が視覚的グラウンディング精度を大きく改善し、特にTransformerベースの文脈埋め込みでオブジェクトグラウンディング精度が絶対値53.8%向上、意味埋め込みのみが再学習なしで類義語記述に汎化した点が注目される。マルチモーダルAI・ロボティクス/自律エージェントの知覚と言語の統合は、ロボット指示理解やVLM製品の性能差別化に直結する技術的マイルストーンであり、この種の研究開発力を有する企業の競争優位を見極める材料になる。ただし現時点では学術研究段階であり、直接の商用製品・調達・規制の動きではないため、投資判断には追加の実装・製品化動向の確認が必要。