Black Forest Labs、画像と20秒の音声付き動画生成が可能なFLUX 3を発表、ただし初期リリースは限定的

Black Forest Labs (BFL) は、画像生成を超えて、単一のプロンプトから画像、または最大20秒の音声/動画クリップを理解・生成できるように訓練されたマルチモーダルモデル「FLUX 3」を発表しました。このモデルは、ロボットビジョンやアクションにも応用可能です。FLUX 3は、画像、動画、音声モデルを統合した単一のアーキテクチャで学習されており、BFLはこれを「ビジュアルインテリジェンス」と呼んでいます。FLUX 3は、FLUX 3 Video、FLUX 3 Image、FLUX 3 Action、およびオープンソースのFLUX 3 Devの4つの製品ラインで提供されます。FLUX 3 VideoとFLUX 3 Actionは現在、承認制の「早期アクセス」プログラムで提供されており、申請は可能ですが承認が必要です。API経由での一般公開はまだありませんが、FLUX 3 Imageは数週間以内にリリースされ、その後一般提供が開始される予定です。初期の限定的な提供は、AnthropicやOpenAIなどの他社の新モデルリリース戦略と類似していますが、セキュリティ上の懸念や政府の要請が理由であった他社とは異なり、BFLの理由は明記されていません。価格設定、SLA、評価方法、サンプルサイズ、ベンチマークなどの詳細はまだ発表されていません。FLUX 3は、初期評価ではLuma Ray 3.2、Runway Gen-4.5、Grok Imagine Video、Kling v3 Pro、Happy Horse v1、Happy Horse 1.1、Seedance 2.0、GoogleのGemini Omni Flashなどの競合モデルを上回る性能を示していますが、これらの評価はプレリリース候補段階のものであるため、実際の製品版の性能とは異なる可能性があります。特に、GoogleのGemini Omni Flashとの比較では、10秒のテキストから動画への変換品質において同等と評価されています。BFLは、FLUX 3の基盤となるアーキテクチャ「Self-Flow」を拡張し、動画、画像、音声、アクション予測を統合することで、ロボット工学におけるデータ効率の向上を目指しています。FLUX 3 Videoは、最大20秒の動画と同期した音声の生成が可能で、テキストから動画、画像から動画、動画から動画、キーフレームから動画などの機能を提供します。また、複数のクリップをエージェント的に連結して数分間のシーケンスを生成する能力も主張しており、これは商用パイプラインにおける生成動画の継続性の課題を解決する可能性があります。ロボット工学分野では、FLUX 3を基盤としたFLUX-mimicが開発されており、限定的なデータでロボットタスクのファインチューニングを可能にするとされています。BFLは、2024年夏に正式に設立され、オープンソースの高品質AI画像モデルへのコミットメントで知られています。同社の創業者は、VQGAN、latent diffusion、Stable Diffusionの開発にも関与していました。FLUXモデルは、Adobe Photoshop、Picsartなどのプラットフォームで利用されており、同社は現在100人のチームを擁しています。FLUX 3 Devは、動画、音声、画像、アクション予測を網羅するマルチモーダルバックボーンとして提供される予定ですが、ライセンス、パラメータ数、量子化、ハードウェア要件に関する情報はまだ公開されていません。BFLは、約32.5億ドルの評価額で、4億5000万ドル以上の資金を調達しています。