人物固有の少数ショット微細表情認識のためのプロンプト制御マルチモーダルチューニング
Prompt-Controlled Multi-Modal Tuning for Person-Specific Few-Shot Micro-Expression Recognition
本論文では、メディア理解や人間とコンピュータの相互作用などのマルチメディアアプリケーションにおいて、人間の真の感情を明らかにする微細表情認識(MER)の課題に取り組む。従来のMERは、人物固有の顔のニュアンスを見落とし、実用的な応用における汎化能力と個別適応性を制限していた。そこで、ターゲット人物の画像/動画のみを参照として使用する、人物固有の少数ショットMERベンチマークを提案し、MERにおける汎化能力と個別適応性の境界を拡張する。このベンチマークに対処するため、プロンプト制御マルチモーダルチューニング(PCMMT)フレームワークを導入した。PCMMTでは、プロンプトボトルネック機構を導入し、テキストプロンプトとCLIPマルチモーダル埋め込み空間を活用して、クエリと参照の視覚入力を橋渡しする。このプロンプトボトルネックは、モダリティ間の情報フローを制御し、人物固有の微妙な微細表情の動きを抽出する。さらに、レイヤーレベルでアダプターグループを設計し、マルチモーダルトークンを個別にファインチューニングすることで、人物固有の手がかりを洗練し、汎化能力を向上させる。実験結果は、提案された人物固有の少数ショット設定が、従来のMER設定よりも優れた個別汎化能力を達成し、PCMMTが様々なMERベンチマークにおいて、既存の最先端モデルを上回ることを示している。
- 人物固有の少数ショット微細表情認識(MER)ベンチマークを新たに提案し、対象人物の画像/動画のみを参照として個別適応を評価する枠組みを示した
- プロンプト制御マルチモーダルチューニング(PCMMT)フレームワークを導入。プロンプトボトルネック機構でモダリティ間の情報フローを制御し、人物固有の微細な表情変化を抽出する
- CLIPのマルチモーダル埋め込み空間とテキストプロンプトを活用し、クエリと参照の視覚入力を橋渡しする構成を採用した
- レイヤーレベルでアダプターグループを設計し、マルチモーダルトークンを個別にファインチューニングすることで人物固有の手がかりを洗練し汎化能力を高める
- 実験で、提案する人物固有の少数ショット設定が従来のMER設定を上回る個別汎化能力を示し、PCMMTが複数のMERベンチマークで既存の最先端モデルの性能を超えた
微細表情認識(MER)の研究論文であり、人物固有の少数ショット設定とプロンプト制御マルチモーダルチューニング(PCMMT)を提案、既存SOTAを上回る成果を報告している。マルチモーダル基盤モデル(CLIP)を活用した個人適応型の認識技術は、感情解析・HCI・メディア理解など応用領域が広く、パーソナライズAIの競争軸になり得る。ただし現時点では学術的なベンチマーク改善の域を出ておらず、商用製品・提携・規制などの具体的な事業インパクトは明示されていないため、投資判断には追加の実用化・ライセンス・採用の動向を確認する必要がある。