ヒューマノイドソーシャルロボット向けケチュア語音声合成システムの開発:UBTech Walker Tienkungへのファインチューニング
Enabling Quechua speech in humanoid social robots through fine-tuned neural TTS on the UBTech Walker Tienkung
本研究は、アメリカ先住民言語である南部ケチュア語(話者数1000万人以上)に対応した初のニューラル音声合成(TTS)システムを開発し、ヒューマノイドソーシャルロボットに展開した。多言語TTSモデルXTTS-v2を、ペルー南部のクスコ・プーノ方言の22,727件の発話データ(30.5時間、77話者)を用いてファインチューニングした。NVIDIA A100 GPUでの15エポックの学習により、クロスエントロピー損失を35.0%削減(4.084→2.652)し、ケチュア語の音韻・形態論への効果的な適応を確認した。学習GPUでの推論遅延は平均2,037ms(RTF=0.472)、UBTech Walker Tienkungロボットの組み込みSoC(Jetson AGX Orin)では平均5,913ms(RTF=0.961)であり、いずれもリアルタイム合成が可能であることを示した。Whisper large-v3を用いた明瞭度評価では、ケチュア語ASRモデルの不在を反映した高い単語誤り率(147.4%)と文字誤り率(69.1%)が得られた。本研究は、アメリカ先住民言語のTTSにおける初の定量的ベンチマークを確立し、低リソース言語への音声合成拡張のための再現可能なフレームワークを提供する。
- 多言語TTSモデルXTTS-v2をケチュア語(クスコ・プーノ方言)の22,727発話・30.5時間・77話者データでファインチューニングし、ケチュア語初のニューラルTTSを構築した
- NVIDIA A100 GPUで15エポック学習し、クロスエントロピー損失を4.084から2.652へ35.0%削減した
- 推論遅延は学習GPUで平均2,037ms(RTF=0.472)、UBTech Walker Tienkung搭載のJetson AGX Orinで平均5,913ms(RTF=0.961)となり、組み込みSoCでもリアルタイム合成が可能と示した
- Whisper large-v3による明瞭度評価では単語誤り率147.4%、文字誤り率69.1%と高く、ケチュア語ASRモデルが存在しないことが反映された
研究色の強い成果で直接の収益インパクトは小さいが、XTTS-v2のファインチューニングで低リソース言語(ケチュア語)に対応させ、Jetson AGX Orin上でRTF=0.961のリアルタイム合成を達成した点は、エッジAI音声インターフェースの実用性を示す。GPU平均2,037ms対エッジ5,913msという遅延差は、ロボット組み込みSoCでの音声AI推論のボトルネックと最適化余地を可視化しており、ヒューマノイド/サービスロボットの多言語対応や音声AIエッジ需要を占う指標として注目。一方、Whisper large-v3によるWER 147.4%・CER 69.1%という評価結果は、低リソース言語でASR側の基盤が欠如しておりTTS単体では実用会話品質に届かないことを示す。音声AI・ロボット向け多言語展開を投資テーマとするなら、TTSだけでなくASR/データセット整備まで含めた統合的な能力が鍵になる。