Wav2Vec2 XLSR-53とWhisper-smallを用いたテルグ語音声認識:ファインチューニングによるアプローチ
Exploring Wav2Vec2 XLSR-53 and Whisper-small for Telugu language speech-to-text: a fine-tuning approach
本研究では、スマートデバイスとソーシャルメディアの普及に伴い、オンライン音声ベースのアプリケーションと音声通信が拡大している背景を踏まえ、テルグ語の音声認識(STT)システム開発において、データ量の制約がある中で、最先端の事前学習済みモデルであるWav2Vec2 XLSR-53とWhisper-smallの活用を検討した。小規模なデータセットでのファインチューニングでも、Wav2Vec2 XLSR-53は単語誤り率(WER)23.62%、文字誤り率(CER)4.12%という良好な結果を示した。k分割交差検証(k=2~5)を用いてモデル性能を評価し、従来の学習・テスト分割法と比較した。k=5の分割交差検証において、Wav2Vec2 XLSR-53はCER 4.12%、Whisper-smallはWER 28.67%を達成した。この結果は、k=5の分割交差検証が、学習データが限られる低リソース言語シナリオにおいて、Wav2Vec2 XLSR-53の堅牢性を向上させることを示唆している。一方、Whisper-smallでは、ベースラインの学習・テスト分割(WER: 27.76%)が全てのk分割交差検証構成(k=2: 32.05%、k=3: 29.72%、k=4: 29.40%、k=5: 28.67%)を上回り、Wav2Vec2 XLSR-53で見られたk分割交差検証の利点はモデルアーキテクチャ間で一般化しないことが示された。さらに、未知のノイズデータでモデルを評価したところ、両モデルとも満足のいく性能を示した。
- テルグ語音声認識において、小規模データでのファインチューニングでWav2Vec2 XLSR-53がWER 23.62%、CER 4.12%を達成した
- k=5分割交差検証でWav2Vec2 XLSR-53はCER 4.12%、Whisper-smallはWER 28.67%を達成した
- Whisper-smallではベースラインの学習・テスト分割(WER 27.76%)が全k分割交差検証構成(k=2: 32.05%、k=3: 29.72%、k=4: 29.40%、k=5: 28.67%)を上回り、k分割交差検証の利点がモデルアーキテクチャ間で一般化しないことが示された
- 未知のノイズデータでの評価でも両モデルとも満足のいく性能を示した
テルグ語という低リソース言語の音声認識において、事前学習済みモデルのファインチューニングとk分割交差検証の効果を実証した研究。注目すべきは、Wav2Vec2 XLSR-53ではk=5交差検証がCER 4.12%と良好な一方、Whisper-smallではベースライン分割(WER 27.76%)が全k分割構成を上回り、交差検証の利点がモデルアーキテクチャ間で一般化しないと示された点。低リソース言語向け音声AIの評価手法・モデル選定は、多言語STT市場への展開を狙うAI企業の技術戦略や、インド等新興国市場の音声インターフェース投資判断に影響し得る。ただし商用製品化や調達の発表ではなく学術研究段階である点は留意が必要。