Stable Diffusion WebUIでSDXL Turbo-LoRAを使用する方法 | IT技術者のDTM奮闘記
画像生成AI

Stable Diffusion WebUIでSDXL Turbo-LoRAを使用する方法

剣を持った女性剣士のAIイラスト 画像生成AI

※本ページはプロモーションが含まれています

スポンサーリンク

はじめに

Stable Diffusion WebUI(AUTOMATIC1111)で使用できる、SDXL Turbo-LoRAモデルが公開されたので使い方を紹介します。

この記事では以下のことが理解できます。

  • SDXL Turbo-LoRAの入手方法
  • Stable Diffusion WebUI(AUTOMATIC1111)でSDXL Turbo-LoRAを使う方法
  • SDXL Turbo-LoRAの各設定値の画像に対する影響
スポンサーリンク

SDXL Turbo-LoRAとは

SDXL Turbo-LoRAは、SDXL Turboで採用した敵対的拡散蒸留(Adversarial Diffusion Distillation:ADD)と呼ばれる新しい蒸留技術を使ったLoRAモデルです。

SDXL Turboモデルの特徴である、低ステップ高画質な画像が生成できる点は同じです。

SDXL Turboモデルは以下の記事で紹介しています。

nov
nov

LoRAモデルだから、いろいろなチェックポイントモデルでSDXL Turboの効果が得られるね!

SDXL Turbo-LoRAのダウンロード・インストールについて

SDXL Turbo-LoRAはcivitaiHugging Faceで公開されています。

LoRAのダウンロード、インストール方法については以下の記事で紹介しています。

SDXL Turbo-LoRAの使い方

SDXL Turbo-LoRAはstep数を減らしても高画質な画像が生成できる点が特徴ですが、使用するには特別な設定が必要です。

nov
nov

使い方もSDXL Turboモデルと似ているよ。

以下に列挙します。

  • step数を低めにする(おすすめは4)
  • CFGスケールを低めに設定する(おすすめは1.5以下)
  • 解像度は512×512が基本
  • 名前の通りSDXLベースモデル用のLoRA

設定項目が画像にどのような影響があるのか調査しました。

step数の影響

step数を1~10まで振って画像生成しました。

猫のAI写真がstep数毎に並んでいる

SDXL Turboモデルはstep数を2以下に設定していましたが、SDXL Turbo-LoRAでは推奨の通り4が良いですね。

4を超えると彩度が高くなっていることがわかります。

CFGスケールの影響

CFGスケールを1~5まで振って画像生成しました。

猫のAI写真がCFGスケール毎に並んでいる

高くするほど彩度も上がっていますね。
3まで行くと崩れてくるので、2.5までは使えそうですね。

解像度の影響

いくつか解像度を変えて画像生成してみました。

猫のAI写真
512×512
猫のAI写真
768×512
猫のAI写真
512×768
猫のAI写真
900×506
猫のAI写真
1024×576
猫のAI写真
1024×1024

試した結果SDXL Turboモデルと同じく、解像度が1024を超えると画像が破綻するようです。

サンプラーの影響

サンプラーについても調査しました。

猫のAI写真がサンプラー毎に並んでいる
猫のAI写真がサンプラー毎に並んでいる
猫のAI写真がサンプラー毎に並んでいる

Euler a以外に使えそうなのは、DPM++ 2S a、DPM++ SDE、DPM++ 2S a Karrasでしょうか。

LCMサンプラーでも試してみました。

猫のAI写真がサンプラー毎に並んでいる

LCMサンプラーも問題なく使えますね。

LCM Testサンプラーは以下の記事でインストール方法を紹介しています。

LCMサンプラーは拡張機能「AnimateDiff」をインストールすると使用できます。

nov
nov

LCM-LoRAと似たような特徴だね。

LoRAの重み

LCM-LoRAの重みを変更して、画像にどのような影響があるのか確認しました。

猫のAI写真がLoRAの重み毎に並んでいる
猫のAI写真がLoRAの重み毎に並んでいる

LoRAの重みを下げるほど、彩度と解像感が落ちていきますね。

0.8~1.2が実用範囲でしょうか。
モデルとの相性もあるので、普段お使いのモデルでお試しください。

ここまでのSDXL Turbo-LoRAの使い方について、youtube動画を投稿しています。
合わせてご参考ください。

SDXL Turbo-LoRAの画像生成速度を確認

解像度を512×512、step数を4、バッチカウント10の設定で比較しました。
(テストに使用したモデルはSDXL、GPUは4070tiです)

SDXL Turbo-LoRA有無生成効率生成時間使用VRAM(参考)
なし4.78it/s10.2sec8.4GB
あり4.72it/s9.2sec8.4GB

LoRAを適用しても生成時間に影響は無いようですね。
もちろんLoRA無しだと、モザイク画像が生成されますけど。

nov
nov

4070tiでも、1秒未満で画像生成できるから魅力的だね。

SDXL Turboモデルと違い、LoRAモデルなので様々なチェックポイントモデルで使える点が嬉しいね。
ただモデルとの相性があるのか、解像感が悪い画像が生成される可能性が高いです。

使ってみた中ではSDXL 1.0との相性が良かったです。

SDXL Turbo-LoRAの作例

どんな画像が生成されるのか作例を紹介します。

モデルはSDXL 1.0とfudukimixを使用しました。

廃墟のAI写真

使用モデル:SDXL 1.0

プロンプト

photo, ruined town ,Nikon Z9,<lora:sd_xl_turbo_lora_v1:1>

ネガティブプロンプト

なし

山間部を走るスーパーカーのAI写真

使用モデル:SDXL 1.0

プロンプト

Raw photo, 8k uhd, dslr, soft lighting, high quality, film grain,, Supercar running in the mountains, Fujifilm XT3,<lora:sd_xl_turbo_lora_v1:1>

ネガティブプロンプト

なし

雪の中で立つブロンドヘアー女性のAI写真

使用モデル:SDXL 1.0

プロンプト

1 girl, blonde hair, snow<lora:sd_xl_turbo_lora_v1:1>

ネガティブプロンプト

なし

町の中で立つ日本人女性のAI写真

使用モデル:fudukimix

プロンプト

1japanese_woman,(28yo), realistic, photo, film grain, detail skin textures, sharp focus, dynamic angle<lora:AIGirlXL_V1:0.3><lora:sd_xl_turbo_lora_v1:1>

ネガティブプロンプト

Negative prompt: (worst quality:2),illustration, 3d, painting, cartoons, sketch

AI画像生成のスピードはグラボが重要

Stable Diffusionでは一枚の画像生成に数十秒の時間を要します。
また、生成したい画像を一発で生成することは出来ないのでトライ&エラーを繰り返すことになります。

そうなんです。一枚の画像を作成するのに思った以上に時間がかかるのです。
だったら画像生成スピードを上げてしまえばいいんです!

画像生成スピードに一番影響するのはグラフィックボードです。
スピードだけ求めるなら発売されている一番のグラフィックボードを選べば良いのですが、非常に高価なので、ここではコスパに優れるモデルも合わせて紹介します。

AI画像生成が捗る高コスパグラフィックボード

最高の生成スピードを求めるならコレ!

最新の4000シリーズから、バランスが丁度いいグラボ!

スポンサーリンク

まとめ

今回はStable DiffusionのSDXL Turbo-LoRAを紹介しました。

Turboモデルと比べると、step数を少し高くしないと使えないですが、いろいろなチェックポイントモデルで使えるから便利だよね。

解像度についてはHires Fixでアップスケールすればよいですが、その分生成時間が長くなるので、LCM-LoRAのほうが現状は使い易い印象です。

注目
セーターを着た日本人女性のAI写真
Stable Diffusionの使い方・記事まとめ【Stable Diffusion WebUIの使い方】
Stable Diffusion関連の記事が増えてきたので、使い方に関する記事をまとめました。
注目
黒髪のアニメ調女性のAIイラスト
Stable Diffusionのアニメ系イラストが得意なモデル8選!
アニメ調のイラストが得意なStable Diffusionのおすすめモデルを紹介していきます
注目
黒のロングヘアー女性のAIイラスト
美少女2次元イラストに最適なモデル5選!!【Stable Diffusion モデル紹介】
2Dイラストに最適なStable Diffusionのおすすめモデルを紹介していきます。
注目
金髪のサイボーグボディの女性のAI写真
Stable Diffusionのリアル・実写系が得意なモデル5選!【Stable Diffusion モデル紹介】
リアル・実写系に最適なStable Diffusionのおすすめモデルを紹介していきます。
注目
ショートヘアー日本人女性のAI写真
Stable DiffusionのおすすめNSFWモデル8選!!【最新版】
NSFW画像の生成が得意なStable Diffusionのおすすめモデルを紹介していきます。
注目
オフィスに立つ日本人女性のAI写真
SDXLベースでNSFW画像が生成できるおすすめモデル10選【Stable Diffusionモデル紹介】
SDXLベースモデルでNSFWコンテンツに特化したモデルを紹介していきます。
注目
コートを着た日本人女性のAI写真
Stable Diffusionのおすすめモデルを用途別に紹介するよ
Stable Diffusionで使用できるおすすめモデルを用途別に紹介していきます
注目
侍姿の女性のAIイラスト
ComfyUIのインストール手順を画像付きで解説【軽量、高速なStable Diffusionクライアント】
Stable Diffusionの軽量・高速なクライアントComfyUIのインストール手順を紹介します。
注目
茶髪女性が町中に立っているAI写真
【簡単】Fooocusのインストールと使い方を紹介します!
Fooocusのインストールから簡単な使い方を解説していきます。Fooocusは数あるStable Diffusion WebUIの中でも、軽量かつシンプルなクライアントアプリです。
注目
タートルネックを着た黒髪女性のAI写真
Stable Diffusionを高速化するSDPAを紹介します【Stable Diffusion WebUIの使い方】
高速化が可能となるSDPAの使い方を紹介します。

Comment

タイトルとURLをコピーしました