PRX Part 3 — 24時間でのテキストから画像へのモデルトレーニング!
PRX Part 3 — Training a Text-to-Image Model in 24h!
本記事は、過去のブログ記事で探求した様々なアーキテクチャとトレーニングの工夫を組み合わせ、24時間という厳格な計算予算内でテキストから画像へのモデルのパフォーマンスを追求する実験について詳述している。32基のH200 GPUを使用し、総計算予算は約1500ドル(1GPUあたり2ドル/時)で実施された。このスピードランは、ピクセル空間での直接トレーニング、VAE不要、パッチサイズ32、初期トークン射影層の256次元ボトルネック、512pxから開始し1024pxでファインチューニングするスケジュールを採用している。また、LPIPSとDINOv2ベースの知覚損失を補助損失として追加し、学習を高速化し視覚品質を向上させた。計算を効率化するため、トークンルーティング技術であるTREAD(50%のトークンが一部のトランスフォーマーブロックをバイパス)と、自己ガイダンススキームを実装した。さらに、REPA(表現アライメント)をDINOv3教師モデルと組み合わせて使用し、Muonオプティマイザー(2Dパラメータ用)とAdamオプティマイザー(その他用)を併用した。トレーニングには、Flux generated、FLUX-Reason-6M、Gemini 1.5で再キャプションされたmidjourney-v6-llavaの3つの公開合成データセットが使用された。512pxで1024バッチサイズで10万ステップ、1024pxで512バッチサイズで2万ステップ(REPAなし)のスケジュールで学習が行われた。結果として、1日のトレーニングで実用的なモデルが生成され、プロンプト追従性や全体的な美観は良好だが、テクスチャの不具合や解剖学的な奇妙さなどの改善の余地も残されている。この実験コードとフレームワークはGitHubで公開されており、コミュニティによる利用と改良が奨励されている。
- 32基のH200 GPUを用いて24時間(約1500ドル)でテキストから画像へのモデルトレーニングに成功
- トレーニングコードとフレームワークをGitHubで公開
本記事は、わずか1500ドル程度の計算コスト(32基のH200 GPU、24時間)で、テキストから画像を生成する実用的なモデルをトレーニングできることを実証した点が重要。従来は膨大な計算資源が必要とされた画像生成モデルの学習が、アーキテクチャの工夫(TREADによるトークンルーティング、知覚損失、REPA等)とパブリックな合成データセットの活用により、劇的に低コスト化できることを示している。これはAIモデルの学習コストが急激に低下しているトレンドの一例であり、生成AI分野への参入障壁が下がり、競争環境が変化する可能性を示唆する。投資家としては、計算資源の民主化がもたらす競争激化と、それに伴う既存プレイヤーの優位性の変容に注目すべき。