動画生成モデルのためのデータセット構築ツールキット

この記事では、動画生成モデルのファインチューニングに利用できるデータセットをコミュニティが容易に構築できるようにするためのツールキットについて解説しています。画像生成データセットのツールキットが確立されているのに対し、動画生成データセットのツールキットはまだ発展途上であるため、本ツールキットは小規模なユースケース向けにオープンソースのスクリプトを提供し、大規模ユースケースには video2dataset を活用します。動画生成はテキストプロンプトに基づいて行われ、制御性やフィルタリングのために、モーション、美的感覚、ウォーターマークの有無、NSFWコンテンツの有無といった質的側面が重要になります。本ツールキットは、Stable Video Diffusionなどの先行研究から着想を得ており、yt-dlp を使用して動画をダウンロードし、「Video to Scenes」スクリプトで長尺動画を短いクリップに分割します。さらに、ウォーターマーク検出(LAION-5B-WatermarkDetection)、美的スコア予測(improved-aesthetic-predictor)、NSFWコンテンツ検出(Falconsai/nsfw_image_detection)、モーションスコア予測(OpenCV)といったフィルタリング機能を提供します。また、Florence-2モデルを用いて、フレームに対するキャプション生成、詳細キャプション生成、OCRなどのタスクを実行し、多様なフィルタリングに活用します。例として、finetrainers/crush-smol-v0 データセットでは、Qwen2VLによるキャプションと、pwatermark 5.5 という厳しいフィルタリング条件を適用した結果、1493本の動画から47本が抽出されました。フィルタリングの有効性について、pwatermark はテキストやウォーターマーク検出に有効ですが、閾値の適用方法(全フレーム平均など)が重要であることが示唆されています。美的スコアについても、極端な閾値設定は有用なデータをフィルタリングしてしまう可能性があり、より低い閾値で不適切なコンテンツを除外する方が効果的であると考察されています。最終的に、これらのツールキットを用いて構築されたデータセットで CogVideoX-5B モデルをファインチューニングした例が示されています。