ベイジアン選択的スキャンによる信頼性認識型離散化を用いた頑健な長期間アクション認識
Bayesian selective scan for robust long-horizon action recognition via reliability-aware discretization
研究者らは、長期間のアクション認識における信頼性の問題を解決するため、BayesMambaという新しいモデルを提案した。BayesMambaは、ベイジアン不確実性をSSMの離散化に統合し、B-Scanを用いてフレームごとの不確実性を推定する。この不確実性信号は、観測が信頼できない場合に状態更新を抑制するために、実効的なタイムステップと入力注入を調整するために使用される。Kinetics-400 (K400) と Something-Something V2 (SSv2) で評価した結果、BayesMambaはクリーンな評価ではベースラインと同等またはわずかに向上した性能を示し、K400で82.4%、SSv2で68.7%のトップ1精度を達成した。モーションブラー下ではSSv2の頑健精度を51.4%から54.2%に、PGD攻撃下では18.2%から19.8%に向上させた。また、破損後の持続性を低減し、Persist(64)を0.41から0.19に、Persist(128)を0.38から0.16に減少させた。分布シフト下では、破損セットのECEを0.158から0.097に、NLLを2.34から1.66に改善し、キャリブレーションを向上させた。
- BayesMambaがKinetics-400で82.4%、Something-Something V2で68.7%のトップ1精度を達成した。
- モーションブラー下でSSv2の頑健精度を51.4%から54.2%に、PGD攻撃下で18.2%から19.8%に向上させた。
- 分布シフト下で破損セットのECEを0.158から0.097に、NLLを2.34から1.66に改善し、キャリブレーションを向上させた。
BayesMambaは、SSM(状態空間モデル)にベイジアン不確実性を統合し、長期間のアクション認識におけるロバスト性とキャリブレーションを改善した研究だ。動画理解タスクにおける耐ノイズ性・耐攻撃性の向上は、実運用でのAI信頼性が求められる領域で価値があるが、今回の報告は学術的なベンチマーク(K400、SSv2)での精度改善に留まっており、直近のビジネスインパクトは限定的。ただし、不確実性を活用した状態更新抑制という手法は、エッジAIやリアルタイム認識系の製品強化につながる可能性があり、AIの信頼性技術領域として注視に値する。