FineVideo: 裏側の技術詳細

FineVideoは、YouTube-Commonsから抽出された1.9Mの動画を基に、コンテンツフィルタリング、アノテーション、出力構造化を経て、最終的に44Kの動画と詳細なアノテーションを持つデータセットを構築した。初期段階では、YouTube-Commonsから英語の動画とメタデータを抽出し1.9M件を取得。その後、動画ダウンロードにはvideo2datasetとクラウドバッチジョブの2つのアプローチを検討し、後者を選択した。コンテンツフィルタリングでは、単語密度(0.5語/秒未満を除外)と動画の動的性質(FFMPEGのFreezedetectフィルターを応用し、静的と判断されたセグメントが40%を超えるものを除外)を用いて、600K件の動的な動画に絞り込んだ。次に、GPT-4oとLlama 3.1 70Bを用いてカスタムタクソノミーに基づき動画をカテゴリ分類し、最終的にGemini 1.5 Proを用いて時間単位のメタデータ(アクティビティ、オブジェクト、編集詳細など)を抽出した。Gemini 1.5 Proのコンテキスト長制限(約1時間)と品質低下の問題から、10分以上の動画は除外され、最終的に約4K時間分の動画が選択された。データ構造化にはGemini 1.5 ProのJSON出力機能とInstructorライブラリ(Pydanticベース)を活用したが、複雑なスキーマへの対応には課題があり、Geminiでフリーテキストを生成後、Instructorでスキーマに整形する手法が取られた。最終的なアライメントステップでは、Geminiの出力と動画のフレームレートとの同期ずれを修正し、品質の低いアノテーションを除外している。FineVideoは、マルチモーダルLLMやコンピュータビジョンモデルのトレーニングに利用できる構造化データを提供することを目的としている。