Sentence Transformers を用いたマルチモーダル埋め込み&リランキングモデル

Sentence Transformers ライブラリは、テキスト、画像、音声、動画など異なるモダリティの入力を共通の埋め込み空間にマッピングするマルチモーダル埋め込みモデルと、異なるモダリティのペアの関連性をスコアリングするマルチモーダルリランキングモデルを提供します。これにより、ビジュアル文書検索、クロスモーダル検索、マルチモーダルRAGパイプラインなどのユースケースが可能になります。マルチモーダルモデルの利用には追加の依存関係のインストールが必要で、特にVLMベースのモデルはGPUを要求します。埋め込みモデルでは、`model.encode()`メソッドが画像やURLなどの入力を受け付け、テキストと画像の埋め込み間の類似性を計算できます。検索タスク向けには`encode_query()`と`encode_document()`が推奨されます。リランキングモデルは、`CrossEncoder`クラスを使用し、`rank()`メソッドでクエリと文書のリスト(画像やテキスト、またはそれらの組み合わせを含む)の関連性をスコアリングします。また、`predict()`メソッドでペアごとの生の関連性スコアを取得できます。一般的なパターンとして、まず埋め込みモデルで高速な初期検索を行い、次にリランキングモデルで上位の結果を絞り込む方法が紹介されています。モデルは、文字列、PIL Imageオブジェクト、ファイルパス、URL、Numpy配列、Torchテンソル、辞書形式など、多様な入力形式をサポートしています。モデルがサポートするモダリティは`modalities`プロパティや`supports()`メソッドで確認できます。モデルのロード時には、`model_kwargs`や`processor_kwargs`を使用して、モデルの精度や入力の前処理(画像解像度など)を制御できます。記事では、Qwen、nvidia、BAAI、nomic-aiなどの様々なマルチモーダルモデルがリストアップされています。