CinePile 2.0:敵対的洗練による強力なデータセットの構築
CinePile 2.0 - making stronger datasets with adversarial refinement
CinePile 2.0は、既存のデータセットを強化し、将来のデータセット作成パイプラインに直接組み込むことができる敵対的洗練(adversarial refinement)手法を実装した、長編動画QAデータセットである。2024年5月にリリースされたCinePile 1.0は、約30万のトレーニングサンプルと5,000のテストサンプルを持ち、質問の多様性と難易度において特徴があった。CinePile 1.0では、GPT-4とGemini 1.0 Proを用いて質問テンプレートからシーン固有の質問を生成し、LLMを用いて「退化問題(degeneracy issues)」や「視覚依存問題(vision reliance issues)」をフィルタリングしていた。CinePile 2.0では、これらの問題に対処するため、弱質問を単純に破棄するのではなく改善する新しい敵対的洗練パイプラインを導入した。このパイプラインでは、「Deaf-Blind LLM」(質問と回答選択肢のみに基づいて回答を予測するLLM)が容易に正解を予測できなくなるまで、質問や回答選択肢を修正するプロセスを最大5回繰り返す。このプロセスには、ローカルで実行可能なLLMとしてLLaMA 3.1 70Bと、質問修正生成にGPT-4が使用された。敵対的洗練の結果、テストセットの退化ペアの90.24%、トレーニングセットの弱ペアの90.94%が修正された。CinePile 2.0のテストセットで評価されたモデルでは、Gemini 1.5 Proが商用VLMで最高性能を示し、GPTベースのモデルも健闘した。オープンソースモデルではLLaVa-One Visionが大幅に進歩し、49.34%の精度を達成した。しかし、多くのモデルでハードスプリットにおいて15-20%の精度低下が見られ、人間の能力にはまだ及ばないことが示唆された。CinePileリーダーボードも新設され、継続的に更新される予定である。
- CinePile 2.0データセットが敵対的洗練パイプラインを導入し公開された
- CinePileリーダーボードが新設され継続的更新が予定されている
CinePile 2.0は、敵対的洗練(adversarial refinement)という新手法を用いて長編動画QAデータセットの品質を大幅に改善した研究であり、LLM/VLMの評価基盤として重要。特に、弱い質問を廃棄する代わりに改善するアプローチはデータセット構築の効率性を高め、今後のベンチマーク設計に影響を与える可能性がある。Gemini 1.5 Proが商用で最高性能、LLaVa-One Visionがオープンソースで49.34%を達成した点も競合状況の把握に有用。ただし、投資判断に直結する具体的な製品リリースや調達・提携などの事業イベントではなく、研究段階の成果である点には留意が必要。