音声エージェントはバイリンガル顧客に対応できるか?コードスイッチング音声に対する最先端ASRのベンチマーク
Can Voice Agents Handle Bilingual Customers? Benchmarking Frontier ASR on Code-Switched Speech
本記事では、バイリンガル話者が日常的に行う言語の切り替え(コードスイッチング)に対応する音声エージェントの能力を評価するため、独自のベンチマークとデータセットを構築した。特に、音声エージェントの最初のステップである自動音声認識(ASR)に焦点を当て、スペイン語-英語、フランス語-英語、カナダフランス語-英語、ドイツ語-英語の4つの言語ペアを対象とした。評価指標として、単語誤り率(WER)、意味的単語誤り率(SWER)、回答誤り率(AER)を用い、Seven ASRシステム(ElevenLabs Scribe V2、Gemini 3 Flash、Assembly AI Universal 3-Proなどが上位)のパフォーマンスを比較した。コードスイッチングによるペナルティは言語ペアやモデルによって異なり、最上位モデルはモノリンガルベースラインに対してわずかな低下に留まった。エラー分析の結果、コードスイッチングの回数よりも言語の混ざり具合(CMI)がエラーの大きさに影響し、エラーは英語部分に集中する傾向があることが示された。ただし、このベンチマークは合成音声であり、実際のコードスイッチング音声の特性を完全に捉えているわけではないという限界もある。
本記事は、音声エージェントの多言語・コードスイッチング対応能力を評価するベンチマーク研究であり、特定の製品発表や企業動向ではなく学術的な性能評価に留まる。投資判断に直結する具体的な事象(企業のプロダクトリリース、資金調達、規制変更など)は含まれていない。