手話翻訳におけるデータセットのクリティカル分析
Critical analysis of datasets for sign language translation
手話翻訳(SLT)の研究は、高品質なデータセットの不足と少数のベンチマークへの過度の依存により、機械翻訳(MT)の進歩に遅れをとっている。本研究では、PHOENIX14T、CSL-Daily、LSE-Healthのデータセットを対象に、訓練セットとテストセットの類似性を経験的に比較し、過学習や誤解を招く評価結果につながる可能性を調査した。PHOENIX14Tでは訓練セットとテストセットの間に大きな重複があり、BLEUスコアが過大評価されることが判明した。一方、CSL-Dailyは重複が少なく、より堅牢な汎化性能を示した。また、少数の「訓練セットのような」文がBLEUスコアに不均衡に寄与することも明らかになった。研究者に対し、過剰に使用されているベンチマークから離れ、How2Sign、CSL-News、FLEURS-ASLのような、より大きく多様なデータセットを採用することを推奨する。さらに、グロスフリーのアプローチへの移行と、特に低リソース設定における評価指標のより慎重な解釈を提唱する。
- 手話翻訳データセットPHOENIX14Tにおいて訓練セットとテストセットの大きな重複が判明し、BLEUスコアが過大評価されていることが実証された
- CSL-Dailyデータセットは重複が少なく、より堅牢な汎化性能を示すことが確認された
- 研究者に対し、How2Sign、CSL-News、FLEURS-ASLのようなより大きく多様なデータセットへの移行が提唱された
本稿は手話翻訳(SLT)の研究評価の信頼性に警鐘を鳴らしている。具体的には、PHOENIX14Tデータセットにおいて訓練セットとテストセットの重複が大きくBLEUスコアが過大評価されている点を実証した。これはSLT領域における研究の質と投資判断の指標としてのベンチマークの信頼性に直結する問題であり、より大規模で多様なデータセット(How2Sign, CSL-News, FLEURS-ASLなど)への移行やグロスフリーアプローチの採用が進めば、関連スタートアップや研究プロジェクトの評価環境が変化する可能性がある。投資家としては、SLTを含むAI翻訳領域への投資判断において、単一ベンチマークのスコアに過度に依存せず、データセットの質と評価手法の頑健性を重視すべきである。