Stable Diffusionで使用できる、SDXL Turbo-LoRAモデルが公開されたので使い方を紹介します。
- SDXL Turbo-LoRAの入手方法
- Stable Diffusion WebUI(AUTOMATIC1111)でSDXL Turbo-LoRAを使う方法
- SDXL Turbo-LoRAの各設定値の画像に対する影響
SDXL Turbo-LoRAとは
SDXL Turbo-LoRAは、SDXL Turboで採用した敵対的拡散蒸留（Adversarial Diffusion Distillation：ADD）と呼ばれる新しい蒸留技術を使ったLoRAモデルです。
SDXL Turboモデルの特徴である、低ステップ高画質な画像が生成できる点は同じです。
SDXL Turboモデルは以下の記事で紹介しています。
LoRAモデルだから、いろいろなチェックポイントモデルでSDXL Turboの効果が得られるね！
ダウンロード・インストールについて
SDXL Turbo-LoRAはcivitaiとHugging Faceで公開されています。
LoRAのダウンロード、インストール方法については以下の記事で紹介しています。
SDXL Turbo-LoRAの使い方
SDXL Turbo-LoRAはstep数を減らしても高画質な画像が生成できる点が特徴ですが、使用するには特別な設定が必要です。
使い方もSDXL Turboモデルと似ているよ。
以下に列挙します。
- step数を低めにする(おすすめは4)
- CFGスケールを低めに設定する(おすすめは1.5以下)
- 解像度は512×512が基本
- 名前の通りSDXLベースモデル用のLoRA
設定項目が画像にどのような影響があるのか調査しました。
step数の影響
step数を1～10まで振って画像生成しました。
SDXL Turboモデルはstep数を2以下に設定していましたが、SDXL Turbo-LoRAでは推奨の通り4が良いですね。
4を超えると彩度が高くなっていることがわかります。
CFGスケールの影響
CFGスケールを1～5まで振って画像生成しました。
高くするほど彩度も上がっていますね。
3まで行くと崩れてくるので、2.5までは使えそうですね。
解像度の影響
いくつか解像度を変えて画像生成してみました。
試した結果SDXL Turboモデルと同じく、解像度が1024を超えると画像が破綻するようです。
サンプラーの影響
サンプラーについても調査しました。
Euler a以外に使えそうなのは、DPM++ 2S a、DPM++ SDE、DPM++ 2S a Karrasでしょうか。
LCMサンプラーでも試してみました。
LCMサンプラーも問題なく使えますね。
LCM Testサンプラーは以下の記事でインストール方法を紹介しています。
LCM-LoRAと似たような特徴だね。
LoRAの重み
LCM-LoRAの重みを変更して、画像にどのような影響があるのか確認しました。
LoRAの重みを下げるほど、彩度と解像感が落ちていきますね。
0.8～1.2が実用範囲でしょうか。
モデルとの相性もあるので、普段お使いのモデルでお試しください。
画像生成速度を確認
解像度を512×512、step数を4、バッチカウント10の設定で比較しました。
(テストに使用したモデルはSDXL、GPUは4070tiです)
| SDXL Turbo-LoRA有無 | 生成速度 | 生成時間 | 使用VRAM(参考) |
|---|---|---|---|
| なし | 4.78it/s | 10.2sec | 8.4GB |
| あり | 4.72it/s | 9.2sec | 8.4GB |
LoRAを適用しても生成時間に影響は無いようですね。
もちろんLoRA無しだと、モザイク画像が生成されますけど。
4070tiでも、1秒未満で画像生成できるから魅力的だね。
SDXL Turboモデルと違い、LoRAモデルなので様々なチェックポイントモデルで使える点が嬉しいね。
ただモデルとの相性があるのか、解像感が悪い画像が生成される可能性が高いです。
使ってみた中ではSDXL 1.0との相性が良かったです。
サンプル画像
どんな画像が生成されるのか作例を紹介します。
モデルはSDXL 1.0とfudukimixを使用しました。
使用モデル：SDXL 1.0
使用したプロンプトを確認する
photo, ruined town ,Nikon Z9,<lora:sd_xl_turbo_lora_v1:1>
使用モデル：SDXL 1.0
使用したプロンプトを確認する
Raw photo, 8k uhd, dslr, soft lighting, high quality, film grain,, Supercar running in the mountains, Fujifilm XT3,<lora:sd_xl_turbo_lora_v1:1>
使用モデル：SDXL 1.0
使用したプロンプトを確認する
1 girl, blonde hair, snow<lora:sd_xl_turbo_lora_v1:1>
使用モデル：fudukimix
使用したプロンプトを確認する
1japanese_woman,(28yo), realistic, photo, film grain, detail skin textures, sharp focus, dynamic angle<lora:AIGirlXL_V1:0.3><lora:sd_xl_turbo_lora_v1:1>まとめ
今回はStable DiffusionのSDXL Turbo-LoRAを紹介しました。
Turboモデルと比べると、step数を少し高くしないと使えないですが、いろいろなチェックポイントモデルで使えるから便利だよね。
解像度についてはHires Fixでアップスケールすればよいですが、その分生成時間が長くなるので、LCM-LoRAのほうが現状は使い易い印象です。
SDXL Turbo-LoRAの使い方について、youtube動画を投稿しています。
合わせてご参考ください。
コメント