FLUX 3: マルチモーダル基盤モデルが早期アクセス開始

FLUX 3は、画像、動画、音声の複数のモダリティを単一のアーキテクチャで学習する新しいマルチモーダル基盤モデルで、早期アクセスが開始されました。このモデルは、Self-Flowアプローチに基づき、計算リソースとデータを大幅にスケールアップしてトレーニングされました。FLUX 3は、テキストプロンプトや画像・動画の入力参照から、音声付きの最大20秒の多様な動画生成、画像合成・編集、アクション予測などが可能です。動画生成では、テキストからの動画生成、画像からのアニメーション、動画からの継続生成、キーフレームからの動画生成、多言語対話、多様なスタイルやアスペクト比の生成、エージェントによるクリップの連鎖などが可能です。初期評価では、他の主要モデルと比較して高い評価を得ています。画像生成では、複雑なプロンプトやテキスト生成能力が向上し、高精度なテキストレンダリングが可能です。アクション予測では、Mimic Roboticsとの協力により、ロボット学習とFLUX 3を組み合わせたFLUX-mimicが開発されました。今後、APIやプライベートウェイトアクセスを通じて、動画・音声生成・編集、アクション予測、画像合成・編集などの機能が段階的に提供される予定です。また、コンテンツ作成やアクション予測のためのマルチモーダル基盤モデルのオープンウェイトアクセスも提供されます。