はじめに
Stable Diffusion WebUI(AUTOMATIC1111)で使用できる、LCM-LoRAが公開されたので使い方を紹介します。
この記事では以下のことが理解できます。
- LCM-LoRAの入手方法
- Stable Diffusion WebUIでLCM-LoRAを使う方法・推奨設定
- LCM-LoRAでどの程度高速化されるのか
LCM-LoRAとは
LCM-LoRAは、LCM(潜在的一貫性モデル)の拡張モデルとして登場したLCMのLoRAモデルです。
従来のモデルは生成stepを20～50程度で画像生成していましたが、LCM-LoRAを使用すれば4～8ステップで画像生成できるため、画像生成時間が高速化されます。
また通常のLoRAモデルと同じ感覚で使用できる点もポイントで、さまざまなチェックポイントモデルで高速に画像生成できます。
LCM-LoRAについて詳しく知りたい場合には「論文まとめ：LCM-LoRA: A Universal Stable-Diffusion Acceleration Module」の記事が、日本語でまとめられていて分かりやすいです。
LCM-LoRAを使用するにあたり
この記事ではStable Diffusion WebUIでLCM-LoRAを使用する方法を解説しますが、Stable Diffusion WebUI(AUTOMATIC1111)ver1.6には、LCMに最適なLCM samplerがインストールされていません。
LCM samplerはインストールすることが可能なので、興味のある方は以下の記事を参考にインストールしてみましょう。
また、Stable Diffusion SDXL専用クライアントアプリ「Fooocus」でもLCM-LoRAが使用可能なので、ぜひお試しください。
LCM-LoRAが登場したばかりですが、LCM-LoRAのマージモデルが早くも登場しました。
Stable Diffusion WebUIでLCM-LoRAを使う方法
LCM-LoRAはSD1.5ベースモデル用、SDXL用、ssd-1b用が公開されています。
※ssd-1bは現状のStable Diffusion WebUIでは効果的ではない為、今回テストしていません
LCM-LoRAのダウンロード、インストール方法
- STEP1LCM-LoRAのダウンロード
LCM-LoRAはHugging faceとCivitaiで公開されています。
LCM-LoRAはSD1.5ベースモデル用と、SDXLベースモデル用の2種類が存在するので用途に合わせてダウンロードしましょう。
以下はHugging faceでのダウンロード方法です。
(Civitaiはモデルページにアクセスしてダウンロードボタンを押すだけです)
lcm-lora-sdxlはSDXLベースモデル用、
lcm-lora-sd1-5はSD1.5ベースモデル用となっています。モデルページにアクセスしたら、File and versionsをクリックします。
SDXL用LCM-LoRAのページ ファイルページが表示されたら、pytorch_lora_weights.safertensorsの右側にあるダウンロードボタンをクリックします。
ダウンロードボタンのクリック - STEP2LCM-LoRAのインストール方法
通常のLoRAモデルとインストール方法は同じです。
「webui」→「models」→「Lora」フォルダにファイルを保存します。
Hugging faceからダウンロードした場合はファイル名がわかりにくいので、「sdxl_lcm.safetensors」などに変更しておきましょう。
(Civitaiのファイルは既にリネームされているので必要ありません)
ファイル名の変更(おすすめ)
その他、LoRAの詳細については↓の記事でまとめています。
LCM-LoRAの使い方
LCM-LoRAで画像生成する場合、普段と異なる設定が必要になります。
以下の手順で設定します。
- STEP1プロンプトにLoRAを入力する
モデル一覧からLCM-LoRAをクリックしてプロンプトに反映します。
プロンプトにLoRAを反映 LoRAの重みは0.5～1程度がおすすめです。
使用モデルによって調整しましょう。 - STEP2画像生成設定を行う
以下設定を行います。
- サンプラーはEuler a
- サンプリングステップ数は4～8
- cfgスケールは1～2
解像度はお好みで問題ありません。
あとは画像生成するだけです。
ここまでのLCM-LoRAの使用方法について、動画でも解説しているので合わせてご参考ください。
LCM-LoRAでどの程度高速化されるのか計測してみた
LCM-LoRAを使った際の画質と、画像生成時間をテストしてみました。
(テストで使用したGPUはRTX4070tiです)
SD1.5モデルで画像生成テスト
meinamixを使用してテストしました。
解像度は512×512、バッチカウント5で生成しました。
結果は以下の通りです。
| LCM-LoRA有無 | STEP数 | 生成効率 | 生成時間 |
| 無し | 25step | 9.26it/s | 13.7sec(100%) |
| 有り | 6step | 8.12it/s | 3.8sec(27%) |
少し生成効率は落ちますが、まさに爆速です。
約4倍の速度で、画像一枚の場合、約0.8秒で生成されています。
生成された画像に問題は無いのか、比較してみました。
左から順に以下の通りです。
- LCM-LoRA無し25step
- LCM-LoRA無し6step
- LCM-LoRA有り6step
LCM-LoRAの効果は凄いですね。十分高画質といえます。
ただCFGスケールを低く設定する必要があるので、プロンプトで細部を指定することは難しいです。
SDXLモデルで画像生成テスト
juggernautXLを使用してテストしました。
解像度は1024×1024、バッチカウント5で生成しました。
結果は以下の通りです。
| LCM-LoRA有無 | STEP数 | 生成効率 | 生成時間 |
| 無し | 30step | 2.61it/s | 59.8sec(100%) |
| 有り | 6step | 1.29it/s | 24.8sec(41%) |
こちらもSDXLとは思えないほど高速化されています。
画像一枚は、約5秒で生成されました。
次に画像比較です。
左から順に以下の通りです。
- LCM-LoRA無し30step
- LCM-LoRA有り6step
SDXLでも高画質で、十分使える画像が生成できました。
LCM-LoRAを使用した画像のほうが、肌がリアルに見えるね
LCM-LoRAの各設定値の影響を確認
LCM-LoRAを使用する際に設定する、LCM-LoRAの重み、サンプラー、step数、CFGスケールがどのように画像に影響するのか確認しました。
LCM-LoRAの重み
LCM-LoRAの重みを変更して、画像にどのような影響があるのか確認しました。
LCM-LoRAの重みを1.0～0.1まで変化させた結果は以下の通りです。
次に2.0～1.1まで変化させてみました。
この結果を見ると0.4以下は画像がぼやけているので、使えないことがわかります。
重みを大きくした場合は、LoRAが構図に影響してくるので、使うにしても1.2程度が限界でしょうか。
おすすめの値は0.5～1だね
LCM-LoRAで使用するサンプラー
LCM-LoRAを使用する際の、サンプラーの影響を調査しました。
Euler a以外に使えそうなのは、DPM++ 2S a、DPM++ SDE、DPM++ 2S a Karrasでしょうか。
人により印象が異なると思うので、画像から判断頂ければ幸いです。
LCM-LoRA使用時のstep数
LCM-LoRAで画像生成する際の、step数の影響を調査しました。
step1～10まで変化させた結果は以下の通りです。
step3以下は、解像感が悪いので使えませんね。
注目するのは8以上です。
少し変化していますが、画質に関しては、ほぼ変化していませんね。
次に15～50stepまで5刻みでテストしました。
step20以上は構図が大きく変化していくことがわかります。
また書き込み量が減っているようにも見えますね。
以上のことからstep数は4～8がおすすめです。
LCM-LoRAを使用しているのに、step数を20など大きな値にすると、高速化の意味が無くなってしまうから注意してね。
LCM-LoRA使用時のCFGスケール値
LCM-LoRAで画像生成する際の、CFGスケール値の影響を調査しました。
CFGスケールを1～5まで変化させた結果は以下の通りです。
1もしくは1.5の画像が一番高画質に感じますね。
2までは使える印象ですが、2を超えると解像感が落ちていくことがわかります。
ちなみに使用頻度が高い、CFGスケール7の場合は以下のようになります。
7だと全く使えませんね。
以上のことからCFGスケールは1～2がおすすめです。
AI画像生成のスピードはグラボが重要
Stable Diffusionでは一枚の画像生成に数十秒の時間を要します。
また、生成したい画像を一発で生成することは出来ないのでトライ＆エラーを繰り返すことになります。
そうなんです。一枚の画像を作成するのに思った以上に時間がかかるのです。
だったら画像生成スピードを上げてしまえばいいんです！
画像生成スピードに一番影響するのはグラフィックボードです。
スピードだけ求めるなら発売されている一番のグラフィックボードを選べば良いのですが、非常に高価なので、ここではコスパに優れるモデルも合わせて紹介します。
まとめ
今回は、Stable Diffusion WebUIでLCM-LoRAを使用する方法を紹介しました。
sd-webui-lcmは現状使えるモデルが限定されていますが、LCM-LoRAであれば好みのモデルで使用できる点が良いですね。
Comment