SDXL Turboモデルが公開されたので、Stable Diffusion WebUI(AUTOMATIC1111)で使用する方法を紹介します。
- SDXL Turboの入手方法
- Stable Diffusion WebUI(AUTOMATIC1111)でSDXL Turboを使う方法
- SDXL Turboの各設定値の画像に対する影響
SDXL Turboとは
SDXL Turboは、Stability AIが開発した、テキストから画像を生成するモデルです。
SDXL Turbo は、敵対的拡散蒸留（Adversarial Diffusion Distillation：ADD）と呼ばれる新しい蒸留技術に基づいています。
Stability AI Japan公式サイト
この技術により、SDXL Turbo は1つのステップで画像出力を合成し、高いサンプリング忠実度を維持しながらリアルタイムでテキストから画像への出力を生成することができます。
簡単にいってしまえば、step数1で高画質な画像が生成できるモデルだね。
SDXL Turboのダウンロード・インストールについて
ローカルPCにStable Diffusionをインストールしていない場合は、以下の記事を参考にインストールしましょう。
SDXL TurboはcivitaiとHugging Faceで公開されています。
それぞれ、軽量モデル(約7GB)とフルバージョン(約14GB)が公開されています。
モデルのダウンロード、インストール方法については以下の記事で紹介しています。ご参考ください。
SDXL Turboの使い方
SDXL Turboはstep数を減らしても高画質な画像が生成できる点が一番の特徴ですが、使用するには独特な設定が必要です。
以下に列挙します。
- step数を低めにする(おすすめは2)
- CFGスケールを低めに設定する(おすすめは1.5以下)
- 解像度は512×512が基本
それぞれ画像にどのような影響があるのか調査しました。
step数の影響
step数を1～10まで振って画像生成しました。
SDXL Turboはstep数を1にするのが基本ですが、2までは使える印象です。
3以上になるとノイズが目立ってきて、使えないことがわかります。
CFGスケールの影響
CFGスケールを1～5まで振って画像生成しました。
1.5までは使えますね。
2以上は不気味な画像になるので1.5以下がおすすめです。
解像度の影響
いくつか解像度を変えて画像生成してみました。
試した結果、解像度が1024を超えると画像が破綻するようです。
SDXLという名前なのに解像度は低いんだねぇ。
高解像度で出力したい場合は、Hires Fix等のアップスケーラー併用がおすすめです。
サンプラーの影響
念のためサンプラーについても調査しました。
いくつか破綻してしまうサンプラーが存在しますが、多くのサンプラーが使えることがわかりました。
SDXL Turboの画像生成速度を確認
解像度を512×512、step数を2、バッチカウント10の設定でSDXLとSDXL Turboモデルで比較しました。
(テストに使用したGPUは4070tiです)
| モデル | 生成速度 | 生成時間 | 使用VRAM(参考) |
|---|---|---|---|
| SDXL | 2.82it/s | 7.1sec | 9.3GB |
| SDXL Turbo | 2.81it/s | 7.2sec | 9.4GB |
どちらも生成速度は同じですね。
もちろんSDXLのほうは、モザイク画像が生成されますけど。
4070tiでも1秒未満で画像生成出来る訳ですから、驚きですよね。
SDXLで30step → SDXL Turboで2stepなら約15倍速くなるわけだ！
SDXL Turboの作例
どんな画像が生成されるのか作例を紹介します。
使用したプロンプトを確認する
cinematic photo of a rustic beautiful woman, beautiful detailed face, 35mm photograph, film, bokeh, professional, blonde hair, , office suit, upper body
使用したプロンプトを確認する
cinematic photo of a ramen in a Bowl, 35mm photograph, film, bokeh, professional, 4k, highly detailed,
使用したプロンプトを確認する
cinematic photo, An old man with a beard wearing a robe 35mm photograph, film, bokeh, professional, 4k, highly detailed,まとめ
今回はStable Diffusionの新しいモデルSDXL Turboを紹介しました。
1stepで高速に画像生成できる点は素晴らしいですが、対応解像度が低い点がネックですね。
解像度と高速性をかねたLCM-LoRAモデルのほうが、現状は汎用性が高く使い易いです。
SDXL TurboのLoRAモデルも公開されました。
LoRAなら別のチェックポイントモデルでも使用可能です。
SDXL Turboの使い方についてyoutube動画を投稿しています。
合わせてご参考ください。
コメント