今回はControlnetの便利な機能、「Reference Only」の使い方を紹介します。
Reference Onlyを使えば以下のようなことが出来ます。
- 一枚の画像から差分画像を生成する
- お気に入りのキャラクターの顔を維持したまま服等を変更する
- LoRAと同じ感覚で使えるが使用するのは一枚の画像だけOK
Controlnet Reference Onlyとは？
Reference OnlyはStable Diffusionの拡張機能「Controlnet」の一機能になります。
Reference Onlyは、ControlNet Ver1.153以降から新たに追加されたPreprocessorで、
お気に入りの顔や画風などのキャラクター要素を継承し画像を生成できます。
LoRaのような追加学習無しでも差分画像を量産することが可能なんだな。
AI画像生成は余裕を持ったストレージ容量がおすすめ
AI画像生成では思った画像が生成できないことが多々あるので、テスト用の画像を沢山生成します。
また、モデルデータも数GBのデータ容量なのでデータ保存先となるストレージは大容量のHDDやSSDがおすすめです。
容量を求めるならHDD、読み込み/書き込みスピードもある程度欲しい場合はSSDを選択しましょう。
(SSDの方がスピードと静音性(無音です)に優れます)
Controlnet Reference Onlyの使い方
- 1Controlnetをインストールする
↓の記事でControlnetのインストール方法を紹介しているので、
未だインストールしていない方は記事を参考にインストールしてみましょう。 - 2Controlnetを有効にする
有効化(Enable)をチェックします。
- 3プリプロセッサを選択する
プリプロセッサをリストから選択しても良いのですが、便利なボタンが用意されているので使用しましょう。
ControlTypeからReferenceをチェックします。
そうするとプリプロセッサにreference_onlyが反映されます。
- 4参照用画像をドラッグ＆ドロップする
お気に入りの画像をControlNetにドラッグ＆ドロップします。
- 5プリプロセッサー解像度を指定する
プリプロセッサーの解像度指定ですが、これについても便利なPixel Perfect機能があるので利用しましょう。
「Pixel Perfect」をチェックします。
これで準備完了です。
あとは普段通り、プロンプトを入力して画像生成するだけです。 - 6サンプル画像
モデルによって効果が変化するのでイラスト系とフォトリアル系の2種類で試してみました。
テスト1 2Dイラスト
参照用画像は「anythingelseV4」というモデルで生成しました。
参照用画像 左から以下の通り設定しています。
- プロンプト「white dress」を記述して服を変更
- モデルをmeinamixに、プロンプトで「short hair, white hoodle」を指定
- モデルを「BracingEvoMix」に変更
white dress 
short hair, white hoodle 
BracingEvoMix 効果は抜群ですね！
顔は同じですが、2Dイラストは狙った通りに服装だけ変更できました。
対して3Dモデルに変更するのは、やはり無理がありますね。テスト2 3Dフォトリアル
参照用画像は「BracingEvoMix」というモデルで生成しました。
参照用画像 左から以下の通り設定しています。
- プロンプトを空にする
- プロンプトで「short hair, white sweater」を指定
空プロンプト 
short hair, white sweater プロンプトが空でもここまで再現できるんですねぇ。
ある程度影響は受けているけど、2Dイラストのように同じ人には見えないです。
こんな感じでReference Onlyってモデルや設定により効果が変化するので、色々試してみましょう。個人的にはイラスト系の方が使い易い印象です。
AI画像生成のスピードはグラボが重要
Stable Diffusionでは一枚の画像生成に数十秒の時間を要します。
また、生成したい画像を一発で生成することは出来ないのでトライ＆エラーを繰り返すことになります。
そうなんです。一枚の画像を作成するのに思った以上に時間がかかるのです。
だったら画像生成スピードを上げてしまえばいいんです！
画像生成スピードに一番影響するのはグラフィックボードです。
スピードだけ求めるなら発売されている一番のグラフィックボードを選べば良いのですが、非常に高価なので、ここではコスパに優れるモデルも合わせて紹介します。
まとめ
Reference Onlyは追加学習をしなくても、顔や画風などのキャラクター要素を保ったまま差分画像を生成できましたね。
手軽に差分画像が作れるので、写真集や立ち絵を作るのが捗りそうです！
Comment