Hugging FaceとIISc、インドの多様な言語におけるモデル構築を強化する提携を発表
HuggingFace, IISc partner to supercharge model building on India's diverse languages
Hugging Faceとインド科学研究所(IISc)/ARTPARKは、インドの多様な言語を理解し、国民のデジタルニーズに応えるAIシステムの開発を促進するため、Vaaniデータセットのアクセシビリティ向上とユーザビリティ改善に向けた提携を発表した。2022年にIISc/ARTPARKとGoogleによって立ち上げられたVaaniプロジェクトは、インドの言語的多様性を代表するオープンソースのマルチモーダルデータセットの構築を目指しており、特に辺境地域の言語や方言の収集に焦点を当てている。目標は、全773地区から100万人規模で15万時間以上の音声と1万5千時間の書き起こしテキストデータを収集することである。現在、フェーズ1(80地区)はオープンソース化されており、フェーズ2(追加100地区)が進行中である。これまでに公開されたデータセットには、70言語をカバーする790時間の書き起こし音声データが含まれる。このデータセットは、音声認識、言語モデニング、話者識別、言語識別、音声強調システム、マルチモーダルLLMの強化、およびパフォーマンスベンチマークなど、幅広いAIモデルの開発に活用できる。
- Hugging FaceとIISc/ARTPARKがVaaniデータセットのアクセシビリティ向上とユーザビリティ改善の提携を発表
- Vaaniプロジェクトのフェーズ1(80地区分)がオープンソース化され公開済み
- Vaaniプロジェクトのフェーズ2(追加100地区)が進行中
Hugging FaceとIIScによるVaaniデータセットの公開・拡張提携は、インドという巨大かつ言語的に極めて多様な市場向けにAIモデルを開発するための重要インフラ整備である。全773地区から100万人規模で収集されるマルチモーダルデータは、音声認識やマルチモーダルLLMの開発に不可欠であり、インド市場向けAIプロダクトの競争優位性に直結する。特に、辺境言語や方言を含む点が差別化要因であり、このデータセットを活用できるスタートアップや大規模言語モデル開発企業は、インドのデジタル市場で先行者利益を得る可能性が高い。投資家としては、このデータを活用する下流のAIアプリケーション企業に注目したい。