Modular Diffusers: Diffusionパイプラインのためのコンポーザブルなビルディングブロック
Introducing Modular Diffusers - Composable Building Blocks for Diffusion Pipelines
Hugging FaceのDiffusersライブラリに、より柔軟でコンポーザブルな代替手段として「Modular Diffusers」が登場しました。これは、テキストエンコーディング、画像エンコーディング、デノイジング、デコーディングといったパイプラインを個別のブロックに分割し、それらを自由に組み合わせたり、カスタムブロックを作成したりできるフレームワークです。FLUX.2 Klein 4Bモデルを用いた画像生成の例では、標準的なDiffusionPipelineと同様の結果が得られるものの、内部的にはブロックが分解・再構成されています。カスタムブロックの作成例として、Depth Anything V2を用いた深度マップ抽出ブロック「DepthProcessorBlock」が紹介されており、これはQwenのControlNetワークフローに組み込むことが可能です。また、ComponentsManagerは複数のパイプライン間でのメモリ管理を効率化します。Modular Diffusersは、カスタムブロックをHugging Face Hubに公開し、`trust_remote_code=True`で読み込むことも可能です。さらに、ノードベースのビジュアルワークフローインターフェースであるMellonとの統合も進んでおり、これによりコードを書かずにカスタムブロックを組み合わせたワークフローの構築が可能になります。Krea Realtime VideoやWaypoint-1といったコミュニティによるModular Diffusersを用いたパイプラインも公開されています。
- Hugging FaceがDiffusersライブラリのモジュラー版「Modular Diffusers」を公開
- Modular Diffusersを用いたパイプライン「Krea Realtime Video」と「Waypoint-1」がコミュニティから公開された
Hugging FaceによるDiffusersライブラリのモジュラー化は、AI画像生成パイプラインの開発効率と再利用性を大幅に高める。特にカスタムブロックのHub公開とノーコードワークフローMellonとの統合により、Diffusersエコシステムの拡大とユーザー層の裾野拡大が期待される。Krea Realtime Videoなど実際の応用事例が登場しており、AIインフラレイヤーでのHugging Faceのプラットフォーム価値がさらに強固になる可能性に注目すべき。