OQ-FERNet: リアルタイム人間・コンピュータインタラクションのためのオクルージョン対応定量的顔表情認識ネットワーク
OQ-FERNet: An occlusion-aware quantitative facial expression recognition network for real-time human-computer interaction
本論文では、リアルタイム人間・コンピュータインタラクションにおける顔表情認識の課題である、部分的な顔のオクルージョン、高い計算コスト、きめ細やかな感情表現の欠如に対処するため、オクルージョン対応定量的顔表情認識ネットワーク「OQ-FERNet」を提案する。OQ-FERNetは、軽量な特徴抽出バックボーンとしてMobileNetV4-Conv-Sを採用し、低コストでコンパクトかつ識別性の高い表現を獲得する。さらに、オクルージョン対応領域再重み付けモジュールにより、特徴マップを顔の上部、中部、下部の領域に分割し、領域ごとの信頼度に応じて寄与度を調整することで、オクルージョンされた領域を抑制し、視覚的な表情の手がかりを強調する。また、定量的感情予測ヘッドを導入し、離散的な表情分類と感情強度推定を同時に行うことで、カテゴリカルおよびきめ細やかな感情出力を可能にする。RAF-DBとAffectNet-7で実験を行った結果、OQ-FERNetは競争力のある分類性能、異なるオクルージョン条件下での堅牢性の向上、効果的な定量的感情予測を実現した。具体的には、RAF-DBで93.12%、AffectNet-7で68.32%の精度を達成し、AffectNet-7での定量的感情予測ではMAE 0.246、MSE 0.101、RMSE 0.318を記録した。さらに、モデルは4.18Mパラメータと0.26G FLOPsのみで、推論速度は356 FPSである。これらの結果は、OQ-FERNetがリアルタイム人間・コンピュータインタラクションシナリオにおいて、軽量、オクルージョンに強く、きめ細やかな顔表情認識のための効果的かつ効率的なソリューションを提供することを示している。ソースコードは https://github.com/jiahao001-j/OQ-FERNet で公開されている。
- オクルージョン対応定量的顔表情認識ネットワーク「OQ-FERNet」を提案し、ソースコードをGitHubで公開した
- 軽量バックボーンにMobileNetV4-Conv-Sを採用し、4.18Mパラメータ・0.26G FLOPs・356FPSの推論速度を実現
- RAF-DBで93.12%、AffectNet-7で68.32%の分類精度を達成
- AffectNet-7での定量的感情予測でMAE 0.246、MSE 0.101、RMSE 0.318を記録し、分類と感情強度推定を同時に実行
学術論文の成果であり直接の企業業績インパクトは現時点で乏しいが、顔表情認識はHCI・自動車のドライバーモニタリング・XR・ロボット対話など幅広い応用を持つ。4.18Mパラメータ・0.26G FLOPs・356FPSという軽量・高速性はエッジ実装の現実味を高めており、コードがGitHubで公開された点は再現性と実用化のスピードを測る材料になる。精度の絶対値(RAF-DB 93.12%)よりもオクルージョン耐性と定量強度推定の同時実現という設計思想に注目したい。