はじめに
Stable Diffusion WebUIの拡張機能「FreeU」の使い方を解説していきます。
- FreeUとは何なのか
- Stable Diffusion WebUIの拡張機能「FreeU」のインストール方法
- FreeUの使い方
- FreeUの効果の確認
- FreeU適用時にどの程度、画像生成時間に影響するのか
記事内の画像は日本語化環境です。
まだ日本語化が済んでいない方は↓の記事を参考に便利な日本語環境にしてみましょう。
FreeUとは
FreeUとは「Free Lunch in Diffusion U-Net」の略です。
このFreeUを簡単にいうと、学習やファインチューニングといった作業を必要とせずに高画質化が可能になります。
Stable Diffusion WebUI 拡張機能 FreeUのインストール方法
- STEP1「Extensions」タブに移動する
stable diffusion webUIを起動したら上部に表示されるタブ一覧から「Extensions」をクリックします。
- STEP2「URLからインストール(Install from URL)」タブに移動する
Extensionsタブ内の「URLからインストール(Install from URL)」をクリックします。
- STEP3URLを入力する
「拡張機能のリポジトリのURL(URL for extension’s git repository)」に下記URLをコピペしてください。
https://github.com/ljleb/sd-webui-freeu.git - STEP4インストールボタンをクリックする
最後に下段に表示されている「インストール」ボタンをクリックします。
- STEP5「Reload UI」をクリックする
「Reload UI」をクリックする
stable diffusion webUIは設定を変更した場合はリロードする必要があります。
Settingsタブに表示される「Reload UI」ボタンをクリックしましょう。
Stable Diffusion WebUI 拡張機能 FreeUの設定について
FreeUの設定項目は「txt2img」タブに表示されています。
右側にある三角ボタンをクリックすると、設定項目が展開されます。
- STEP1有効化(Enable)をチェックする
左上に表示されている有効化(Enable)をチェックすることでFreeUが有効になります。
- STEP2推奨設定ボタンをクリックする
FreeUは設定項目がたくさんありますが、使用するモデルに合わせたプリセットが用意されています。
SD1.4、SD2.1、SDXL用のボタンが用意されているのでクリックしましょう。
SDXLモデルを使用する場合に、SD1.4、SD2.1を選択しても問題ありません。
あくまで推奨設定です。 - STEP3画像生成する
あとはいつも通り画像生成するだけです。
FreeUの設定項目について
FreeUで調整する項目は、Backbone 1 Scale、Backbone 2 Scale、Skip 1 Scale、Skip 2 Scaleになります。
この比率は先ほど紹介した、推奨設定ボタンで変更される値です。
その他の項目をかいつまんで紹介します。
Start at Step
FreeUを適用開始するタイミングを設定します。
デフォルトの0だと開始ステップから反映されます。
Stop at Step
FreeUを適用終了するタイミングを設定します。
デフォルトの100だと終了ステップまで反映されます。
Stable Diffusion WebUI 拡張機能 FreeUのサンプル画像
SDXLモデルを使用してサンプル画像を生成してみました。
使用したプロンプトは以下の通りです。
dog enjoying dancing, illustration
このプロンプトで
- FreeU無し
- SD1.4推奨設定
- SD2.1推奨設定
- SDXL推奨設定
それぞれの画像を生成してみました。
FreeUを適用すると、どの設定でも高画質化されていますね。
ただSDXL推奨設定が一番良いかは微妙ですね。
個人的にはSD2.1の設定が一番楽しそうです。
こんな感じで高画質化はもちろん、構図も変化するので使うには試行錯誤が必要です。
お気に入りのfudukiMixでも試してみました。
FreeUを使うと彩度とコントラストが強くなる印象ですね。
とくに彩度はかなり上がるので好みは分かれそうです。
FreeUが画像生成時間に影響するのか調査
簡単に高画質化できるFreeUですが、デメリットが無いのか画像生成時間を調査しました。
画像生成時間が長いならHires.fix使ったほうが良いかもしれないし・・・
いくつかパターンを振ってテストしました。
・SDXL 1280×720 20step(サンプル画像と同じ設定)
・SD1.5 512×512 20step(meina.mixでテスト)
・SD1.5 1280×720 20step(meina.mixでテスト)
結果は以下の通り
| – | FreeU非適用時 画像生成時間 | FreeU適用時 画像生成時間 | FreeU適用時 影響度合い |
| SDXL 1280×720 | 約2.08it/s 約9.6sec | 約2it/s 約10sec | 104% |
| SD1.5 512×512 | 約17.67it/s 約1.1sec | 約13.4it/s 約1.5sec | 132% |
| SD1.5 1280×720 | 約4.12it/s 約4.9sec | 約3.8it/s 約5.3sec | 108% |
FreeUが生成時間に影響することが分かりました。
理由は分かりませんが、処理負荷が高い程影響が小さくなっています。
ちなみにFreeUの推奨設定の3パターンを試したけど、設定による差はなかったよ。
Hires.fixは設定に依存しますが数倍単位で生成時間が遅くなるので、FreeUは影響が小さく使い勝手が良いです！
まとめ
今回は簡単に高画質化できる拡張機能「FreeU」を紹介しました。
構図が変化する可能性がありますが、高画質化の効果は高いのでとりあえずインストールしておくのがおすすめです。
コメント