大規模言語モデルを用いた日本手話認識手法の調査
Investigation of Word Recognition Methods for Japanese Fingerspelling Using Large Language Models
聴覚障害者コミュニティのコミュニケーション円滑化のため、自動手話認識システムの開発が重要視されている。従来の高コスト・低快適性のウェアラブルセンサーに代わり、非侵襲的な視覚ベースのセンシングが注目されているが、動きの速さによるモーションブラーや自己遮蔽が課題となっていた。本研究では、単一RGBビデオストリームから得られる動的な視覚表現と大規模言語モデル(LLM)の語彙知識を組み合わせた視覚言語統合フレームワークを提案する。このフレームワークは、Temporal Convolutional Network(TCN)とTransformerからなる視覚エンコーダを用いて3D骨格座標から動的な遷移特徴を抽出し、LLMが視覚表現の不確実性や誤りを補償できるようにする。本研究では、新しいLLMアーキテクチャではなく、離散テキスト、確率レベル、潜在特徴レベルの統合戦略を比較検討した。実験の結果、単独の視覚エンコーダでは連続手話認識の単語一致精度(WA)が11.66%に留まったのに対し、LLM統合アーキテクチャは最大87.73%まで精度を向上させた。特に、PTFI(Projector Transformer Features Input)アプローチは、潜在Transformerベースの視覚的証拠に言語的推論を根付かせることで、文字レベルの劣化を抑制することに成功した。これらの結果は、LLMベースの言語推論と動的な視覚特徴の統合が、制御された実験条件下でのクローズドセット連続手話認識に有望なアプローチであることを示唆している。
- 単一RGBビデオストリームから3D骨格座標を取得し、Temporal Convolutional Network(TCN)とTransformerによる視覚エンコーダとLLMの語彙知識を組み合わせた視覚言語統合フレームワークを提案。
- 離散テキスト・確率レベル・潜在特徴レベルの統合戦略を比較検討し、PTFI(Projector Transformer Features Input)が潜在Transformerベースの視覚的証拠に言語的推論を根付かせることで文字レベルの劣化を抑制。
- 連続手話認識の単語一致精度(WA)は視覚エンコーダ単独で11.66%にとどまったが、LLM統合アーキテクチャでは最大87.73%まで向上した。
LLMを視覚エンコーダと統合し、連続手話認識の単語一致精度(WA)を11.66%から最大87.73%へ引き上げたという研究成果。派生的な応用ではあるが、単一RGB映像+骨格座標という低コストな非侵襲センシングで高精度を実現した点は、LLMのマルチモーダル推論が視覚表現の誤りや不確実性を補償する「言語知識による補正」の有効性を定量的に示したもので、ウェアラブル不要の手話認識・アクセシビリティ領域の商用化余地を示唆する。ただし制御されたクローズドセット条件下の実験であり、実環境での汎化性能やデータ収集コスト、商用製品化の時期は未検証のため、短期的な投資判断材料としては限定的。PTFIなど統合戦略の比較検討は、今後のマルチモーダルLLM設計の指針として注目に値する。