行動シグナルに対するマルチモーダル感情分析のための動的ハイパーノード注入とグラフアテンション融合
Dynamic hypernode injection and graph attention fusion for multimodal sentiment analysis of behavioral signals
本研究では、言語使用、声の行動、顔の活動といった複数のモダリティからの感情状態を分析するフレームワークを開発した。このフレームワークは、双方向ゲート付き再帰ユニットエンコーダー、アテンションプーリング、動的ハイパーノード注入、グラフアテンション融合を組み合わせている。テキスト、音響、視覚のシーケンスは共有潜在空間にマッピングされ、モダリティレベルの表現に圧縮される。その後、ゲート付き残差接続を介してサンプル依存ハイパーノードと学習可能な静的プライアが注入され、グラフ伝播が行われる。CMU-MOSIデータセットでは、MAE 0.7290±0.0099、相関0.7880±0.0076、Acc-7 0.4561±0.0160を達成した。CMU-MOSEIデータセットでは、MAE 0.5541±0.0053、相関0.7551±0.0058、Acc-7 0.5269±0.0064であった。実験の結果、グラフ伝播前のハイパーノード注入(pre-GAT)が全体的に最も強力な回帰指向バランスを提供することが示された。注入されたプライアはサンプル依存であり、モダリティ選択的であることが示唆された。
- テキスト・音響・視覚のマルチモーダル感情分析フレームワークを開発し、双方向GRUエンコーダー、アテンションプーリング、動的ハイパーノード注入、グラフアテンション融合を組み合わせた。
- CMU-MOSIデータセットでMAE 0.7290±0.0099、相関0.7880±0.0076、Acc-7 0.4561±0.0160を達成した。
- CMU-MOSEIデータセットでMAE 0.5541±0.0053、相関0.7551±0.0058、Acc-7 0.5269±0.0064を達成した。
- 実験により、グラフ伝播前のハイパーノード注入(pre-GAT)が全体的に最も強力な回帰指向バランスを提供することが示され、注入プライアがサンプル依存かつモダリティ選択的であることが示唆された。
マルチモーダル感情分析は、コールセンター解析やマーケティング、メンタルヘルス、自動車のドライバー状態監視など幅広い用途に波及する基盤技術であり、今回はCMU-MOSI/MOSEIという感情分析ベンチマークでMAE・相関・Acc-7の具体的な数値改善を示した点が注目されます。特に「グラフ伝播前のハイパーノード注入(pre-GAT)が最も良い回帰バランス」という設計上の知見は、実装コストの低い構成で精度を出せる可能性を示唆します。ただし現時点ではベンチマーク上の学術成果にとどまり、商用製品や企業の採用・調達の発表は含まれていないため、投資判断には引き続き実運用データやライセンス/製品化の動向を確認する必要があります。