Stable Diffusionで、色あせているような(彩度が落ちたような)画像が生成されたことはありませんか？
それ、VAEのせいかもしれません。
今回の記事はStableDiffusionで使用するVAEの入れ方から使い方を紹介します。
シェアの高いAUTOMATIC1111をベースに解説していきます。
- おすすめのVAE
- VAEのダウンロード方法・インストール方法
- VAEの使い方
VAEとは
VAEはVariational Auto Encorderの頭文字を取ったもので、変分オートエンコーダーと呼ばれます。
深層潜在変数モデルの一種なんですが、Stable DiffusionでVAEを使用すると彩度や色鮮やかさに影響します。
Stable DiffusionでVAEを設定しないと・・・
Stable Diffusionのチェックポイントモデルには、VAEが焼きこまれたモデルと、そうでは無いモデルが存在します。
それぞれ以下のようなメリット・デメリットがあります。
| モデル区分 | メリット | デメリット |
|---|---|---|
| VAE焼きこみ済みモデル | ・VAE設定無しで色鮮やかな画像が生成できる ・手軽 | ・好みのVAEを使用するとバランスが崩れる |
| VAE無しモデル | ・好みのVAEを使用できる | ・VAEを使用しないと生成画像の彩度が低くなる ・VAEを設定する分、手間が増える |
Stable Diffusion VAEのダウンロードについて
VAEはcivitaiやHagging Faceからダウンロード可能です。
おすすめのVAEについて
おすすめのVAEをサンプル画像と合わせて紹介していきます。
サンプルに使用したモデルはイラスト系はAOM3、リアル系はRealDosMixです。
vae-ft-mse-840000-ema-pruned
Stability AI公式からリリースされているVAEで、一番お世話になるかと思います。
イラスト系からフォトリアル系まで使える万能系のVAEです。
vae-ft-mse-840000-ema-prunedはcivitaiとHagging Faceからダウンロード可能です。
orangemix
OrangeMixチェックポイントモデルと合わせて配布されているVAEです。
OrangeMix系にマッチするVAEですが、イラスト系のモデルであれば別のモデルでも使い易いです。
orangemixはHagging Faceからダウンロード可能です。
kl-f8-anime2
アニメ、イラスト系で多用されるVAEです。
彩度の掛かりは中程度なので、あまりに彩度の低いチェックポイントモデルには適していません。
kl-f8-anime2はcivitaiとHagging Faceからダウンロード可能です。
VAEのインストールについて
ダウンロードしたVAEファイルは「webui」→「models」→「VAE」フォルダの中に保存します。
これでインストール完了です。
Stable Diffusion VAEの使い方
AUTOMATIC1111でVAEを切り替える場合には、設定変更が必要になります。
紹介する画像はAUTOMATIC1111 Ver1.6環境になります。
AUTOMATIC1111のバージョンアップについては↓の記事を参考に実施してください。
VAEを切り替える為の設定
以下設定を行うことで、VAE変更メニューを表示することが可能です。
設定(Settings)タブをクリックし設定タブに移動します。
左に表示されるメニューからユーザーインターフェース(User interface)をクリックします。
クイック設定(Quicksettings list)のリストボックス内に「sd_vae」を入力します。
sd_vaeは直接入力するか、ボックス内とクリックするとリストが表示されるのでリストから選択してください。
リストが沢山表示されるので、ボックス内に「sd」だけ入力して選択すると簡単です。
最後に設定を適用(Apply Settings)をクリックして設定を反映しましょう。
その後にUIの再読み込み(Reload UI)をクリックしてUIを再起動しましょう。
VAEを変更する方法
メニュー上部にSD VAEというVAEリストボックスが表示されます。
このリストボックスから好みのVAEを選択するだけです。
まとめ
今回は、Stable DiffusionのVAEの使い方を紹介しました。
色あせた、灰色がかった画像が出力された場合はVAEが焼きこまれていない可能性が高いので、一度VAEの設定を確認してみてください。
VAEが焼き込まれたモデルのほうがラクチンだよねぇ。
コメント