はじめに
やっとAUTOMATIC1111がSDXLのRefinerに対応しました！
今回はStable DissuionWebUIの拡張機能、「Refiner」の使い方を紹介していきます。
- SDXL Refinerとは何なのか
- Stable DissuionWebUIでRefinerを使う方法
- Refinerの使い方・サンプル画像
そもそもSDXLのRefinerって何？
SDXLの学習モデルはBaseとRefinerに分類され、それぞれ役割が異なります。
SDXLは、画像を生成する際にBaseとRefinerをそれぞれ処理するので2Pass方式と呼ばれ、従来の1Pass方式と比べるとより綺麗な画像が生成できます。
その他の詳細については↓の記事が参考になります。
Refinerのインストール方法
- STEP1AUTOMATIC1111のアップデート
AUTOMATIC1111 Ver1.6からRefinerに対応しています。
AUTOMATIC1111のバージョン確認(最下段に表示されている) AUTOMATIC1111のアップデート方法については↓の記事が参考になります。
あわせて読みたいStable Diffusionのアップデート方法を紹介します はじめに Stable Diffusion WebUIに入れた新しい拡張機能が、動かなくて困ったことはありませんか？もしかしたらStable Diffusion WebUIのバージョンが古いことが原因の... - STEP2Refinerモデルのダウンロード
RefinerはHugging Faceとcivitaiで公開されています。
- STEP3Refinerモデルのインストール
ダウンロードしたファイルは「webui」→「models」→「Stable-diffusion」フォルダに保存します。
モデルの保存について詳しく知りたい方は↓の記事が参考になります。
あわせて読みたいStable Diffusion WebUIのモデルの入れ方を解説します！ みなさんこんにちは！novです。Stable Diffusionで画像生成楽しんでますか？ Stable Diffusionは、AIによる画像生成ツールで、モデルを使えば、サムネイルのような画像...
Refinerの使い方
Refiner設定の表示位置について
txt2imgのGenerationタブにRefinerの設定項目が追加されています。
右にある三角のボタンをクリックすると、設定項目が展開されます。
モデルの選択について
Checkpointリストボックスから使用するRefinerを選択します。
Switch atの設定について
Switch atは画像生成過程において、BaseからRefinerに切り替わるタイミングを選択します。
初期値は0.8なので80%のタイミングでRefinerモデルに切り替わります。
よって、1を設定するとRefinerは適用・反映されません。
また、AUTOMATIC1111 Ver1.6ではRefinerの項目を展開しないとRefinerが適用されません。
現状はタブを開くと有効になる機能と、チェックボックスで有効になる機能が混在しているから紛らわしいね
Refinerのサンプル画像
SDXLの記事で使用したプロンプト、設定を試してみました。
masterpiece,best quality,ultra detailed,highres,absurdres,
Realistic photograph of cyborg in the cyberpunk city
signature, deformed fingers, text, cross-eyed, unperfect hands
Step数：20
サンプラー：DPM++ 2M SDE Karras
CFG scale：7
Switch at：0.8(初期値)
Ver1.5と比べると少し異なる画像が出力されました。
並べて比べないと分からないくらいだけどね。
使用中のVRAM使用量をモニタリングしましたが、Ver1.5時代と同じで9.6GB使用していました。
RTX4000シリーズの場合、4070以上が必要になるわけです。
VRAM10GB未満のGPUを使用している方は↓の記事を対応を行うことで、SDXLモデルを使用可能になります。
Refinerでモデルを混ぜることも可能
AUTOMATIC1111のRefinerはRefinerモデルとSwitch atの設定が可能なので、特殊な使い方が可能です。
Refinerを使う場合、通常はRefiner用モデルを使用しますがチェックポイントモデルを指定することも可能です。
この場合、両方のモデルの特徴を持った画像生成が可能です。
サンプルとしてチェックポイントモデルに「fudukiMix」、Refinerモデルに2Dイラストが得意な「Reproduction」を設定しました。
画像生成時のSwitch atは0.5に指定しています。
Reproductionの影響を受けて目が大きく描かれていますね。
このようにRefinerを使うことで画像に影響を与えることが可能です。
まとめ
今回は、Refinerに対応したAUTOMATIC1111をテストしてみました。
相変わらずAUTOMATIC1111はVRAM使用量が多いので、Fooocusのようなクライアントの需要も変わらないかな？
動作の軽いFooocusについては↓の記事が参考になります。
コメント