1日でドメイン特化型埋め込みモデルを構築する方法

NVIDIAは、単一GPUと1日未満のトレーニング時間で汎用埋め込みモデルをドメイン特化型に変換するパイプラインを公開した。このパイプラインは、NVIDIAの公開ドキュメントから生成された合成トレーニングデータセットを使用し、手動ラベリングは不要である。この手法により、Recall@10とNDCG@10で10%以上の改善が見られ、AtlassianはJIRAデータセットでRecall@60を0.751から0.951に向上させた(26%改善)。パイプラインは、NeMo Data Designerによる合成データ生成、NeMo Automodelによる埋め込みモデルトレーニング、BEIRによる評価、ONNX/TensorRTへの変換、NVIDIA NIMによる推論サービングを含む。特に、LLM(nvidia/nemotron-3-nano-30b-a3b)を用いた合成QAペア生成、ハードネガティブマイニング、マルチホップクエリによる埋め込み品質向上、バイエンコーダー埋め込みモデルのファインチューニング、検索改善の評価、パイプラインへのデプロイといったステップが含まれる。ベースモデルLlama-Nemotron-Embed-1B-v2をファインチューニングし、BEIRフレームワークで評価した結果、NDCG@10で10.9%、Recall@10で10.0%の向上が確認された。最終的なモデルはONNX形式にエクスポートされ、NVIDIA NIMコンテナでAPIとしてデプロイ可能であり、OpenAI互換のエンドポイントを提供する。