Nemotron 3.5 ASRのファインチューニング方法:言語、ドメイン、アクセントへの対応
How to Fine-Tune Nemotron 3.5 ASR for Your Language, Domain, or Accent
NVIDIAは、多言語、リアルタイムストリーミング、句読点・大文字化、言語検出を単一モデルで実現するNemotron 3.5 ASRを発表しました。このモデルは、Cache-Aware FastConformerエンコーダーとRNNTデコーダーを組み合わせ、600Mパラメータで40言語に対応します。リアルタイムストリーミングでは、オーディオフレームを一度だけ処理するキャッシュ機構により、低遅延と高精度を両立させています。また、モデルは出力時に句読点や大文字小文字を自動で付与します。言語は明示的に指定することも、自動検出させることも可能です。Nemotron 3.5 ASRは、特にデータ量の少ない言語や専門用語、特定の発音など、ファインチューニングによって精度を大幅に向上させることが可能です。ギリシャ語とブルガリア語でのファインチューニング実験では、ベースモデルと比較して単語誤り率(WER)が31-32%改善しました。さらにデータ量を増やすことで、さらなる精度向上が確認されています。ファインチューニングは、NeMo/Lhotseライブラリを用いて、ターゲット言語のデータセットを指定し、ベースモデルから開始します。評価は、実際のデプロイメントと同じ低遅延設定で行うことが推奨されています。このモデルは、NVIDIA NeMoフレームワークを通じて利用可能であり、Hugging Faceで公開されています。今後はNIMリリースにより、gRPCストリーミングや多様なNVIDIAハードウェアでのサポートが予定されています。
- NVIDIAが多言語・リアルタイムストリーミング対応のNemotron 3.5 ASRを発表
NVIDIAがNemotron 3.5 ASRという単一モデルで40言語対応・リアルタイムストリーミング・句読点自動付与・言語検出を実現した点は、同社の音声AI分野における競争力強化を示す。特に、データが少ない言語や専門領域でのファインチューニング効果が顕著(WER31-32%改善)であることは、カスタマイズ需要の高いエンタープライズ向け音声認識市場での採用拡大につながる。NVIDIAがNeMoフレームワークとHugging Faceでの公開に加え、NIMリリースによるgRPCストリーミング対応や多様なハードウェアサポートを計画している点は、エコシステムの拡大とGPU需要の創出に寄与するため、中長期的な投資視点で重要。