視線追跡と深層学習に基づく産業パトロール検査のための視覚的注意分析手法
A Visual Attention Analysis Method for Industrial Patrol Inspection Based on Eye Tracking and Deep Learning
本研究は、産業パトロール検査における視覚的注意を定量化するため、視線追跡と深層学習に基づく物体検出を統合した手法を提案する。ウェアラブル視線追跡デバイスを用いて、一人称視点の検査ビデオ、視線追跡データ、カメラパラメータを取得する。マルチモーダルデータの時間的整合後、3D視線点を対応する2D検査ビデオフレームに投影する。YOLO12mを用いてターゲット機器を検出し、2D視線点と機器のバウンディングボックスとの間でフレームごとのマッチングを行う。マッチング結果に基づき、7つの視覚的注意指標を計算し、パトロール検査中の視覚的注意を定量的に特徴づける。10名の参加者によるオンサイト実験では21件の検査記録が得られ、全体の視覚的注意スコアは43.16から89.71の範囲で、平均は75.99であった。3名の専門家が21件の記録を独立して評価した結果、システム生成の評価は19件で過半数の専門家の評価と一致した。この結果は、提案手法が産業パトロール検査中の特定のターゲット機器に対する検査官の視覚的注意を複数の指標で定量化し、解釈可能な結果を提供できることを示している。
- 視線追跡と深層学習ベースの物体検出(YOLO12m)を統合し、3D視線点を2D検査ビデオフレームに投影して機器のバウンディングボックスとフレーム単位でマッチングする手法を提案した。
- マッチング結果から7つの視覚的注意指標を計算し、パトロール検査中の注意を定量化する。
- 10名の参加者によるオンサイト実験で21件の検査記録を取得し、視覚的注意スコアは43.16〜89.71、平均75.99だった。
- 3名の専門家による独立評価で、システム生成の評価は21件中19件が過半数の専門家評価と一致した。
産業パトロール検査の目視品質を「視線×物体検出」で定量化する研究。投資家視点では、ウェアラブル視線追跡とYOLO12mベースの検出を統合し7指標で注意配分をスコア化(21件の記録で平均75.99、専門家評価と19件一致)した点が、熟練技能の属人化・検査漏れリスクという産業現場の課題に対するAI適用の実装可能性を示す。ただし被験者10名・21件と小規模な概念実証に留まり、精度や導入コスト、規制・安全認証要件は未検証。すぐに投資対象となる事業性は見えにくく、ウェアラブル×(VLM/物体検出)による技能伝承・現場モニタリング分野の動向を追う材料として位置づけたい。