リモートセンシング(衛星)画像とキャプションを用いたCLIPのファインチューニング
Fine tuning CLIP with Remote Sensing (Satellite) images and captions
Hugging Faceが主催したFlax/JAX Community Weekにおいて、衛星画像とキャプションを用いてOpenAIのCLIPモデルをファインチューニングするプロジェクトが実施された。このプロジェクトでは、RSICD、UCM、Sydneyの各データセットが使用され、画像拡張とテキスト拡張(バックトランスレーション)を適用することで過学習を抑制した。評価の結果、ファインチューニングによりCLIPモデルの性能が大幅に向上し、特に「An aerial photograph of {category}」形式のキャプションを用いた検索タスクで高い精度を示した。最良モデルはバッチサイズ1024、学習率5e-6、Adamオプティマイザで学習され、k=10で0.998の精度を達成した。このファインチューニングされたモデルは、テキストからの画像検索、画像からの画像検索、画像内の特徴検索などの機能を持つデモで活用されている。今後の展望として、CLIPエンコーダーとGPT-3デコーダーを用いた画像キャプション生成モデルの開発や、他のデータセットでのファインチューニングによる性能向上が挙げられている。
- Hugging Faceが主催したFlax/JAX Community Weekにおいて、衛星画像とキャプションを用いたCLIPモデルのファインチューニングプロジェクトが実施された
- 衛星画像検索タスクにおいてk=10で0.998の精度を達成したファインチューニング済みCLIPモデルが公開・デモ活用された
Hugging Faceのコミュニティイベントで実施されたCLIPの衛星画像領域へのファインチューニングは、汎用Vision-Languageモデルのドメイン特化による性能向上を示しており、衛星画像解析というスペース領域とのクロスオーバーが興味深い。衛星データ×AIの組み合わせは農業、防災、都市計画など幅広い産業応用が期待される分野であり、ファインチューニングによって検索精度0.998(k=10)という極めて高い性能が達成されたことは、実際のビジネス応用における実用性を示唆する。ただし本記事はコミュニティプロジェクトの成果報告であり、特定企業の事業や調達に関する具体的な投資判断材料ではない点に留意が必要。