人間とオブジェクトの相互作用を活用した弱教師ありビデオ異常検知
Learn the interactions: Weakly supervised video anomaly detection with human-object interactions
本研究では、弱教師ありビデオ異常検知における、異常学習サンプルの不足と多様な特徴表現の欠如という課題に対処するため、人間とオブジェクトの相互作用(HOI)とアクションダイナミクスからの意味論的手がかりを統合することで特徴表現を強化する、新しい弱教師ありクロスドメインフレームワークを提案する。具体的には、2つの独立したエンコーダーを用いてドメイン固有の特徴をモデル化し、双方向クロスアテンション機構を介してそれらを融合し、統一された埋め込みを取得する。クラス不均衡を緩和し、特徴の識別性を高めるため、ネットワークは分類損失、クロスドメイン対照損失、およびクリップレベルの焦点損失とともに最適化される。提案手法は、様々なビジュアルバックボーンで評価され、その適応性と堅牢性が示された。上海科技大学とUCF-Crimeの2つのベンチマークデータセットで、それぞれ98.33%のAUCと87.96%のAUCを達成し、弱教師あり条件下での最先端手法に対して競争力のある性能を示した。
- 人間とオブジェクトの相互作用(HOI)とアクションダイナミクスの意味論的手がかりを統合し、双方向クロスアテンションで特徴を融合する弱教師ありクロスドメインビデオ異常検知フレームワークを提案。
- 上海科技大学データセットでAUC 98.33%、UCF-CrimeデータセットでAUC 87.96%を達成し、弱教師あり条件下の最先端手法と競争力のある性能を確認。
- 分類損失・クロスドメイン対照損失・クリップレベルの焦点損失を組み合わせて最適化し、クラス不均衡の緩和と特徴識別性の向上を実現。
- 複数のビジュアルバックボーンで評価し、手法の適応性と堅牢性を確認。
弱教師ありビデオ異常検知は防犯・監視カメラ映像解析や産業設備の異常検知など、実運用でのラベリングコストが最大の障壁となる領域であり、本論文はHOIとアクションダイナミクスという意味論的手がかりを双方向クロスアテンションで統合することで、少数のラベルから高い検出精度を実現する方向性を示した点が重要。上海科技大学データセットでAUC 98.33%、UCF-Crimeで87.96%という数値は公開ベンチマーク上の最先端水準に並ぶもので、監視・セキュリティ分野の映像AI製品を手掛ける企業にとっては認識エンジンの精度差別化要因になり得る。ただし現時点では学術研究の成果であり、商用製品・調達・規制といった投資判断に直結する事象は含まれていないため、実用化・製品組み込みの動向を継続的に注視する段階と捉えている。