はじめに
今回はControlnetの便利な機能、「Reference Only」の使い方を紹介します。
- Controlnet Reference Onlyのインストール方法
- Controlnet Reference Onlyの使い方
- Controlnet Reference Onlyで同じ顔の画像を生成する方法
Controlnet Reference Onlyとは？
Reference OnlyはStable Diffusionの拡張機能「Controlnet」の一機能になります。
Reference Onlyは、ControlNet Ver1.153以降から新たに追加されたPreprocessorで、
お気に入りの顔や画風などのキャラクター要素を継承し画像を生成できます。
LoRaのような追加学習無しでも差分画像を量産することが可能なんだな。
Reference Onlyを使えば以下のようなことが出来ます。
- 一枚の画像から差分画像を生成する
- お気に入りのキャラクターと同じ顔で服装だけを変更する
- LoRAと同じ感覚で使えるが使用するのは一枚の画像だけOK
Controlnet Reference Onlyのインストール方法
Controlnet Reference OnlyはControlnetをインストールすることで使用することができます。
Controlnetのインストール手順については↓の記事をご参考ください。
Controlnet Reference Onlyの使い方
- STEP1Controlnetを有効にする
有効化(Enable)をチェックします。
- STEP2プリプロセッサを選択する
プリプロセッサをリストから選択しても良いのですが、便利なボタンが用意されているので使用しましょう。
ControlTypeからReferenceをチェックします。
そうするとプリプロセッサにreference_onlyが反映されます。 - STEP3参照用画像をドラッグ＆ドロップする
お気に入りの画像をControlNetにドラッグ＆ドロップします。
- STEP4プリプロセッサー解像度を指定する
プリプロセッサーの解像度指定ですが、これについても便利なPixel Perfect機能があるので利用しましょう。
「Pixel Perfect」をチェックします。
これで準備完了です。
あとは普段通り、プロンプトを入力して画像生成するだけです。
Controlnet Reference Onlyを使って同じ顔の画像を生成してみた！
Controlnet Reference Onlyを使って同じ顔の画像が生成できるのか、実際にテストしてみました。
テスト1 2Dイラスト
参照用画像は「anythingelseV4」というモデルで生成しました。
左から以下の通り設定しています。
- プロンプト「white dress」を記述して服を変更
- モデルをmeinamixに、プロンプトで「short hair, white hoodle」を指定
- モデルを「BracingEvoMix」に変更
効果は抜群ですね！
同じ顔のキャラクターで、2Dイラストは狙った通りに服装だけ変更できました。
対して3Dモデルに変更するのは、やはり無理がありますね。
テスト2 3Dフォトリアル
参照用画像は「BracingEvoMix」というモデルで生成しました。
左から以下の通り設定しています。
- プロンプトを空にする
- プロンプトで「short hair, white sweater」を指定
プロンプトが空でもここまで再現できるんですねぇ。
ある程度影響は受けているけど、2Dイラスト寄りかは効果が薄く感じます。
こんな感じでReference Onlyってモデルや設定により効果が変化するので、色々試してみましょう。
個人的にはイラスト系の方が使い易い印象です。
まとめ
Reference Onlyは追加学習をしなくても、顔や画風などのキャラクター要素を保ったまま差分画像を生成できましたね。
手軽に同じ顔の画像が作れるので、写真集や立ち絵を作るのが捗りそうです！
コメント