【高速生成】Stable Diffusionに「SDXL Lightning Lora」を導入すれば、生成時間が半減に!?

金髪のアジア人女性のAI写真

はじめに

Stable Diffusionで画像生成を楽しんでいるみなさん、こんにちは!novです。

もっと高速に画像生成したいですか?
そんなときは、SDXL Lightning Loraを導入しましょう!
簡単に画像生成速度を高速にすることが可能です。

この記事では、「SDXL Lightning Lora」の概要から導入方法、使い方を初心者でも分かりやすく解説します。

この記事で理解できること
  • SDXL Lightning Loraの使い方
  • SDXL Lightning Loraの各設定値が画像にどのような影響を与えるのか
目次

SDXL Lightning Loraとは

SDXL-Lightning は、超高速のテキストから画像への生成モデルです。数ステップで高品質の 1024px 画像を生成できます。

私たちのモデルは、 statusai/stable-diffusion-xl-base-1.0から抽出されたものです。このリポジトリには、1 ステップ、2 ステップ、4 ステップ、および 8 ステップの蒸留モデルのチェックポイントが含まれています。2 ステップ、4 ステップ、および 8 ステップ モデルの生成品質は驚くべきものです。私たちの 1 ステップ モデルはより実験的なものです。

モデル公開ページ

簡単にいうと、低ステップ数でも高画質な画像を生成できるモデルです。

低いステップ数で生成できるモデルといえば、LCMやTurboモデルと似ているよね。

あわせて読みたい
Stable Diffusion WebUIでLCM-LoRAを使用する方法【最新の高速化技術】 はじめに Stable Diffusion WebUI(AUTOMATIC1111)で使用できる、LCM-LoRAが公開されたので使い方を紹介します。 この記事で理解できること LCM-LoRAの入手方法 Stable D...
あわせて読みたい
Stable Diffusion WebUIでSDXL Turbo-LoRAを使用する方法 はじめに Stable Diffusion WebUI(AUTOMATIC1111)で使用できる、SDXL Turbo-LoRAモデルが公開されたので使い方を紹介します。 この記事で理解できること SDXL Turbo-LoR...

SDXL Lightningモデルはチェックポイントモデルと、LoRAモデルが公開されていますが、この記事では色々なモデルで使用できるLoRAモデルを紹介します。

SDXL Lightning Loraの導入方法

LoRAモデルはHugging faceで公開されています。

LoRAモデルは以下、3種類が公開されています。

  • sdxl_lightning_2step_lora.safetensors
  • sdxl_lightning_4step_lora.safetensors
  • sdxl_lightning_8step_lora.safetensors
ダウンロードするLoRAモデルをフォーカスしている
ダウンロードするLoRAモデル

モデル名にあるstep数が画像生成時に設定するステップ数です。

各効果については後ほど紹介しますが、おすすめは8stepモデルです。

LoRAの使い方やインストール方法については、以下の記事で解説しています。

あわせて読みたい
Stable Diffusion WebUI LoRAのダウンロード・使い方を解説します【AIコスプレできるようになる!】 はじめに 本記事では、Stable Diffusion LoRAの使い方について詳しく解説します。 この記事を読めば以下が理解できるようになります。 LoRAの機能 LoRAのインストール方...

SDXL Lightning Loraの使い方

SDXL Lightning Loraは通常のLoRAと使い方と変わりません。

プロンプト、ネガティブプロンプトが表示されている
プロンプトにLightning LoRAが追加されている
普段のLoRAと使い方は同じ(プロンプトにLoRAを追加する)

画像生成は以下の設定を行います。

  • ステップ数を減らす(おすすめは8step)
  • サンプラーをEulerに設定
  • スケジューラをsgm_uniformに設定する
  • CFGスケールを下げる(おすすめは1~3)

SDXL Lightning Lora本来の力を発揮するにはサンプラーとスケジューラの設定が必要になります。
ですが、AUTOMATIC1111やForgeはサンプラーとスケジューラを別々に設定できません。

サンプラーとスケジューラを別々に設定できるクライアントツールは「ComfyUI」です。
ComfyUIのインストール方法は以下の記事で紹介しているので、この機会にインストールしてみてはいかが?

あわせて読みたい
ComfyUIのインストール手順を画像付きで解説【軽量、高速なStable Diffusionクライアント】 はじめに この記事はComfyUIをインストールしたい人向けに、画像付きで手順を解説しています。 また、ComfyUIの特徴や、StableDiffusionクライアントとしての利用方法に...
CHECK

AUTOMATIC1111やForgeでも使用することは可能です。
この場合はサンプラーにEuler aやLCMを設定しましょう。

SDXL Lightning Loraのテスト結果

SDXL Lightning Loraを使用した際に各パラメータが画像に与える影響を調べました。

テストに使用したモデルは「Juggernaut XL」です。

あわせて読みたい
Stable Diffusionのリアル・実写系が得意なモデル5選!【Stable Diffusion モデル紹介】 はじめに リアル・実写系に最適なStable Diffusionのおすすめモデルを5つ紹介していきます。 ※各モデルについて評価ポイントを付けていますが、あくまで私個人の印象に...

Step数とCFGスケールの関係

2,4,8stepの各LoRAに対して、Step数とCFGスケールを変更して画像生成しました。

テストした結果、Step数に応じて適切なCFGスケールの値が異なることがわかりました。
画質に関しては、やはり8stepモデルが優れています。

私のおすすめ設定は8stepモデルで、8step、CFGスケール2です。

ブロンドヘアー女性のAI写真ステップ数とCFGスケール別に並んでいる
2stepモデル
ブロンドヘアー女性のAI写真ステップ数とCFGスケール別に並んでいる
4stepモデル
ブロンドヘアー女性のAI写真ステップ数とCFGスケール別に並んでいる
8stepモデル

LoRAの重みについて

次にLoRAの重みが画像に与える影響を確認しました。

結論から伝えますと、LoRAの重みは1のままで問題ありません。

ブロンドヘアー女性のAI写真LoRAの重み別に並んでいる

サンプラーについて

標準ではサンプラーをEuler、スケジューラをsgm_uniformに設定するよう記載がありますが、AUTOMATIC1111やForgeでは設定できません。

そこでAUTOMATIC1111やForgeで使えるサンプラーがあるのか確認しました。

私のおすすめはEuler a、LCM、DDPMです。

ブロンドヘアー女性のAI写真サンプラー別に並んでいる

AUTOMATIC1111でLCMを使う場合には、以下の記事が参考になります。

あわせて読みたい
LCM samplerをStable Diffusionに追加する方法 はじめに Stable DiffusionのLCM-LoRAに最適なLCM samplerを追加する方法を紹介します。 この記事で理解できること LCM samplerの入手方法 Stable Diffusion WebUIでLCM...

SDXL Lightning Loraの画像生成速度について

SDXL Lightning Loraを使うと、どの程度高速化されるのか画像生成時間を比較してみました。

テストでは1024×1024の画像を、20stepと8stepで生成した時間を比較しています。
8step側に「SDXL Lightning Lora」を適用しています。

SDXL Lightning Lora
適用有無
ステップ数画像生成時間
非適用20step5.5sec
適用8step2.4sec

当然ですがステップ数の分、高速化されていますね。

ここまでの使い方に関してYouTube動画も投稿しています。
合わせてご参考ください。

まとめ

今回は、「SDXL Lightning Lora」の使い方を紹介しました。

SDXL Lightning Loraの効果は抜群でしたね。
SDCLは生成Step数が高い傾向があるので、Lightning Loraの恩恵が高いです。

本記事で紹介した導入方法や設定方法を参考に、ぜひ「SDXL Lightning Lora」を導入してみてください。

よかったらシェアしてね!
  • URLをコピーしました!

コメント

コメントする

目次