10億ペアの学習データで文埋め込みモデルを訓練する
Train a Sentence Embedding Model with 1B Training Pairs
Hugging Faceが主催したJAX/Flaxを用いたNLP&CVコミュニティウィークにて、7台のTPU v3-8とGoogleのFlax、JAX、Cloudチームの支援を受け、10億ペアの学習データを用いた最先端の文埋め込みモデルの開発プロジェクトが実施された。本プロジェクトでは、文ペアの意味の近さに基づいてモデルを訓練する対照学習法を採用し、特にバッチサイズとハードネガティブの重要性が示された。複数のデータセットを組み合わせて10億ペアの学習データを作成し、Mini-LM、RoBERTa、DistilBERT、MPNetなどの20種類の汎用Sentence Transformersモデルを訓練した。これらのモデルは、文類似度評価タスクでSOTAを達成し、質問応答、文類似度、ジェンダー評価に特化した8つのデータセットも公開された。開発されたモデルは、文類似度比較、非対称QA、検索/クラスタリング、ジェンダーバイアス評価などのアプリケーションに利用可能である。
- Hugging FaceがJAX/Flaxコミュニティウィークで10億ペアの学習データを用いた文埋め込みモデルを開発し、20種類のSentence Transformersモデルを公開
- 開発されたモデル群が文類似度評価タスクでSOTAを達成
- 質問応答、文類似度、ジェンダー評価に特化した8つのデータセットを公開
Hugging FaceがGoogleのTPU/Flax/JAXサポートを受け、10億ペアもの大規模データで文埋め込みモデルを訓練したことは、オープンソースのNLP基盤モデルの性能が急速に向上していることを示す。特にSentence Transformersの20モデルがSOTAを達成した点は、検索・類似度比較・QAといった実用的なアプリケーションの精度向上に直結し、周辺のAIスタートアップや導入企業にとって競争力の源泉となる。また、ベンチマーク用データセットの公開により、業界全体の標準評価が進むことで、AIサービスの品質比較が容易になり、投資判断の材料としても有用である。