Stable Diffusionを高速化するSDPAを紹介します【Stable Diffusion WebUIの使い方】

はじめに

Stable Diffusionの高速化では定番となるxFormersがありますが、
さらなる高速化が可能となるSDPAの使い方を紹介します。

nov

導入の仕方から、生成時間の比較結果も載せているので最後まで見ていってね。

この記事では以下のことが理解できます。

Pytorch2.0 SDPAのインストール方法
Pytorch2.0 SDPAの使い方
SDPAを使用した場合の画像生成時間

SDPAとは
SDPAをインストールする
SDPAを有効化する
SDPAでどのくらい高速化されるのか計測してみた
SDPAを使用してトラブルが発生した場合
まとめ

SDPAとは

SDPAはscaled dot product attentionの略で、Pytorch2.0で実装されています。

従来のxformersと比較すると、さらに画像生成時間を短縮することが可能です。

SDPAをインストールする

SDPAを使用するにはPytorch2.0にアップデートする必要があります。

STEP1
仮想環境(venv)の準備
仮想環境を上書きしてしまうと、トラブルが発生した場合に大変なことになるので、既存の仮想環境をバックアップしておきましょう。
「webuiフォルダ」 → 「venv」フォルダの名称を適当なものに変更しましょう。
venvフォルダ
変更後のフォルダ名
私は「venv_old」に変更しました。
STEP2
スクリプトファイルの実行を有効化する
Windows PowerShellを管理者権限で実行します。
PowerShellはタスクバーの左端にあるWindowsスタートボタンを右クリックすると、ポップアップメニューに起動ボタンが表示されます。
PowerShellを管理者権限で起動
PowerShellが表示されたら以下のコマンドをコピペしてエンターキーを押下します。
```
PowerShell Set-ExecutionPolicy RemoteSigned
```
完了したら、PowerShellウィンドウは閉じて構いません。
STEP3
新しい仮想環境を作る
「webuiフォルダ」の何もないエリアでShift + 右クリックし、表示されたポップアップメニューから「PowerShellウィンドウをここで開く」をクリックします。
※もしくは、cdコマンドでwebuiフォルダに移動します
PowerShellを起動
PowerShellが表示されたら以下のコマンドをコピペしてエンターキーを押下します。
```
python -m venv venv
```
これでwebuiフォルダ内に新しい「venv」フォルダが作成されます。
続いて以下のコマンドをコピペしてエンターキーを押下します。
```
venv\Scripts\Activate.ps1
```
$venv\Scripts\Activate.ps1コマンドを入力している$
これで仮想環境に入ることができます。
STEP4
Pytorch2.0をインストールする
引き続き以下のコマンドをコピペしてエンターキーを押下します。
```
pip install torch==2.0.0 torchvision --extra-index-url https://download.pytorch.org/whl/cu118
```
少し時間がかかりますが、気長に待ってください。
これでインストール完了です。

SDPAを有効化する

「webuiフォルダ」の中にある「webui-user.bat」を編集モードで開きます。

COMMANDLINE_ARGSに「–opt-sdp-attention」を追加します。
※-は2つです

後は普段通りにwebui-user.batをダブルクリックして、Stable Diffusion WebUIを起動します。

SDPAでどのくらい高速化されるのか計測してみた

SDPAを使用した場合に、どの程度高速化されるのか画像生成時間を比較しました。

xformersの有無、–opt-sdp-attention、–opt-sdp-no-mem-attentionで生成時間を測定しています。

–opt-sdp-attentionは低VRAMで使用できますが、生成する度に画像が変化します。
–opt-sdp-no-mem-attentionは生成速度が低下する傾向で、VRAMをたくさん使いますが、設定が同じであれば同じ画像が生成されます。

–opt-sdp-attentionを使用して画像生成

白ジャケットを着た白髪女性のAIイラスト — opt-sdp-attentionサンプル画像

–opt-sdp-no-mem-attentionを使用して画像生成

テストは解像度512×512、ステップ数20、バッチ回数10で実施しました。
測定結果は以下の通りです。

コマンドライン引数	生成速度	使用VRAM	速度比較
無し	7.21it/s	5.4gb	-(基準)
–opt-sdp-attention	11.06it/s	4.4gb	153%
–opt-sdp-no-mem-attention	10.95it/s	5gb	152%
–xformers	8.71it/s	4.5gb	121%