InstructPix2Pixを用いたStable Diffusionのインストラクションチューニング
Instruction-tuning Stable Diffusion with InstructPix2Pix
本稿では、InstructPix2Pixの学習戦略を拡張し、画像変換(例:カートゥーン化)や低レベル画像処理(例:雨除去)といった特定のタスクに対する指示に従う方法を探求する。インストラクションチューニングは、言語モデルに指示に従ってタスクを実行させる教師あり学習手法であり、GoogleのFLANで導入された。InstructPix2Pixは一般的な画像編集指示には強いが、特定の変換を伴う指示には弱い場合がある。そこで、FLAN V2のデータセット作成テンプレートとInstructPix2Pixの学習方法論を組み合わせ、カートゥーン化や雨除去、ノイズ除去、低照度画像強調、ブレ除去といったタスクのためのインストラクションプロンプト付きデータセットを作成した。InstructPix2PixのチェックポイントまたはStable Diffusionのチェックポイントをファインチューニングする実験を行った結果、前者のアプローチが生成品質の面でより早く適応できることが示された。カートゥーン化タスクでは、提案手法がCartoonGANの出力により忠実にマッチする結果が得られたが、低レベル画像処理タスクでは、特に低照度画像強調において改善の余地があることが示唆された。今後の課題として、データセットのスケールアップ、学習時間の延長、タスク混合の多様化、同義指示の活用、ControlNetとの組み合わせなどが挙げられている。
本記事は学術研究レベルの手法検証に留まっており、特定の企業の業績や市場に直接影響を与える具体的な商用化発表・製品ローンチ・調達などの投資判断に直結する事象を含んでいない。InstructPix2Pixの拡張やデータセット作成はAI分野の研究進展を示すものの、今回の記事単体では投資家のアクションにつながる具体的な材料とは言い難い。