MultiNet: カメラ距離とマルチブランチ学習による視線推定の改善
MultiNet: Improving Gaze Estimation via Face-to-Camera Distance and Multi-Branch Learning
MultiNetは、単一のカメラキャプチャから得られる複数のモダリティを利用して、視線ベクトルまたは注視点を直接予測するマルチブランチパイプラインである。特に、RGBウェブカメラから推定される顔からカメラまでの距離を、深度センサーやステレオカメラを必要とする既存手法とは対照的に、外観ベースの視線推定に活用する。提案手法は、注意機構による特徴量融合を備えた畳み込みニューラルネットワーク(CNN)を採用し、顔画像、左右の眼のパッチ、頭部姿勢情報、推定されたカメラ-顔距離を統合する。また、制約のない自然なデスクトップ環境で収集された141,000枚の画像からなるデータセット「NLGaze」も導入し、実世界での適用性を強調している。個人固有のリアルタイム評価では、MultiNet-Baseは市販のウェブカメラを備えたデスクトップで、毎秒15フレーム(FPS)で43.01ピクセルの二乗平均平方根誤差(RMSE)を達成した。ベンチマークデータセットで代表的な最先端ソリューションと比較した結果、MultiNetはMPIIFaceGaze、Gaze360、NLGazeデータセットでそれぞれ最高2.94°、7.47°、7.58°の角度誤差を達成し、外観ベースの視線推定において競争力のある、あるいは優れた性能を示した。アブレーションスタディの結果は、注意機構による特徴量融合と、推定距離を入力モダリティに追加することが、有意な角度誤差の削減につながることを示している。
- 単一のRGBウェブカメラ映像から、顔画像・左右眼パッチ・頭部姿勢・推定カメラ-顔距離を統合し、深度センサーやステレオカメラなしで視線ベクトル/注視点を直接予測するマルチブランチCNN「MultiNet」を提案。
- 制約のない自然なデスクトップ環境で収集した141,000枚規模のデータセット「NLGaze」を新たに公開。
- 市販ウェブカメラを用いた個人別リアルタイム評価で、MultiNet-Baseが15FPS・RMSE 43.01ピクセルを達成。
- ベンチマーク比較でMPIIFaceGaze 2.94°、Gaze360 7.47°、NLGaze 7.58°の角度誤差を達成し、既存の最先端手法と同等以上の性能を確認。
- アブレーションスタディにより、注意機構による特徴量融合と推定距離の入力モダリティ追加が角度誤差の有意な削減に寄与すると確認。
視線推定はXR・自動車のドライバーモニタリング・HCIの基盤技術であり、深度センサーやステレオカメラを不要にして単眼RGBウェブカメラで高精度を実現した点は、デバイスのBOM削減と既存カメラ資産の活用を意味する。ベンチマークでの角度誤差低減とNLGazeデータセット公開は、この分野の実装ハードルを下げる材料になり得る。ただし提案手法は研究段階のフレームワークであり、商用採用や収益に直結する発表ではないため、投資判断ではXR/車載/HCI領域の製品ロードマップへの波及を注視する位置づけと捉えた。