7/27 Stability AIは新たな画像生成AIモデルStable Diffusion XL 1.0をオープンソースで公開しました。
とうとうバージョン1.0となったSDXLはどんな画像を生成できるのか、インストール方法から使い方、サンプル画像を紹介していきます。
SDXL 1.0とは
SDXLはStability AIのフラッグシップモデルで今回公開された1.0が最新バージョンです。
Stable Diffusionのモデルは通常512*512の画像で学習されていますが、SDXL 1.0は1024*1024で学習されています。
また2pass対応しており、Base → Refinerと2回処理することにより、1pass式に比べて質感が向上しています。
Stable DiffusionをAUTOMATIC1111で使用している方が多いかと思いますが、
SDXL 1.0は通常のモデルと同じ感覚で使用できるので簡単に導入できますよ。
SDXL 1.0のダウンロード・インストールについて
- 1SDXL 1.0の公開ページ
SDXL 1.0はcivitaiとHuggingFaceで公開されています。
またHuggingFaceではvaeも公開されています。BaseモデルとRefinerモデルの2つをダウンロードしましょう。
vaeはなくても問題ありません。Civitaiの公開先はこちら
(Civitaiではvaeが焼きこまれたモデルも公開されています)HuggingFaceの公開先は以下の通りです。
SDXL 1.0 Base
SDXL 1.0 Refiner
SDXL Vae - 2モデルのインストール
ダウンロードしたモデルは「webui」→「models」→「Stable-diffusion」フォルダーに保存します。
モデルの保存について詳しく知りたい方は↓の記事が参考になります。
vaeについては「webui」→「models」→「VAE」フォルダーに保存します。
SDXL 1.0の設定について
AUTOMATIC1111版web UIのバージョンについて
バージョン1.5.0以降のバージョンでSDXLに対応しています。
バージョンについてはWebUIの各タブ最下段に表示されています。
まだ古いバージョンの方は↓の記事を参考にバージョンアップしておきましょう。
解像度設定など
解像度は1024*1024で設定します。
その他の設定については今まで通りで問題ない印象です。
この後紹介するサンプル画像は、↓の設定で、画像に合わせてサンプラーだけ変更して出力しています。
Refinerモデルの使用方法
AUTOMATIC1111版web UI v1.5.0では対応していません。
手間はかかりますが、使用することはできます。
始めにt2iでBaseモデルを使用して画像生成します。
その後、i2iに移り、モデルをRefinerに変更して画像生成します。
このとき「Denoising strength」は0.3以下くらいの低めに設定しましょう。
(0.7のように高い値の場合、元画像からかけ離れた画像が生成されます)
チェックポイントをBaseからRefinerに変更することを忘れずに～
VRAMについて
SDXL 1.0をStable Diffusion WebUIで動かすには8GBのVRAMでは足りません。
約9GB程度使用するので、NVIDIA製の現行GPUでは12GB以上のモデルが必要になります。
(RTX4000シリーズのVRAM 12GBのモデルは4070ti以上になり、非常に高価です)
大丈夫です。VRAMが少なくてもSDXL 1.0は動かせます。
私はRTX3060ti 8GBモデルを使用していますが、下記手順でSDXL 1.0を動作させています。
Stable Diffusion WebUIの起動に使用している「webui-user.bat」を開いて、
COMMANDLINE_ARGSに「 –medvram」もしくは「 –lowvram」を追記します。
(ハイフンは2つです)
(使用しているGPUのVRAMに合わせてlowvram、medvramどちらか選択してください)
lowvramは、より少ないVRAMに対応できますが、その分、画像生成速度が低下します。
RTX3060tiでmedvram指定の場合、
step数20でBase、Refinerともに20sec程度で画像生成できました。
(設定でかなり前後すると思うので参考までに)
SDXL 1.0のサンプル画像
いくつか画像を出力してみました。
何度かテストした感想としては、ネガティブプロンプトはシンプルに。
プロンプトについては、ロングワードが効果的です。
サイバーパンクなロボット
SFに登場するようなロボットをイメージしています。
このような画像の生成は得意ですね。
使用したプロンプトは以下の通りです。
masterpiece,best quality,ultra detailed,highres,absurdres,
Realistic photograph of cyborg in the cyberpunk city
signature, deformed fingers, text, cross-eyed, unperfect hands
- Baseのみ
- Base＋Refiner
以上の2種類で出力しました。
Baseのみでも綺麗ですが、Refinerを当てるとディテールが細かくなり、レイトレーシングを有効にしたように綺麗になりますね。
Refinerしゅごい
フォトリアル アジア人女性
簡単に日本人女性が生成できるか試してみました。
使用したプロンプトは以下の通りです。
realistic close-up photograph of a 25yo Japanese 1girl with middle colored hair, realistic skin texture, detailed skin slight smile best quality, high quality, in the city, sun lights highly detailed, intricate, slight imperfections
painting, sketch, ugly, bad quality, blurry, anime, 3d, deformed, bad anatomy, text, watermark, bad anatomy,
日本人女性かどうかは意見が分かれますが、Refinerを当てると肌の質感が自然で凄く綺麗ですね。
2Dイラスト女性
次はイラストの実力を確認しました。
anime artwork of a beautiful girl wearing office suit standing, anime style, key visual, vibrant, studio anime, highly detailed, in the office
photo, deformed, black and white, realism, disfigured, low contrast
Baseはぼやっとした印象ですが、Refinerを当てると解像度が上がったようにパリっとしました。
シャツの描写は微妙ですが、2D系のイラストでもかなり完成度高いです！
オブジェクト系(車)
最後に人物以外のオブジェクトとして、車を生成しました。
supercar, photoshoot, running at high speed, glowing lights, on the road, elegant minimalism, award winning photography,
extreme detail, illegal race car, extreme photorealistic, 8k, Hyper detailed car, perfect soft lighting, great lighting, car photography, fisheye lens, raining, reflection, absurdres, best quality, realistic style
drawing, painting, crayon, sketch, graphite, impressionist, noisy, blurry, soft, abstract, glitch, deformed, mutated, ugly, disfigured, distorted, text, watermark
はっきり言ってかっこいい！！！
金属の光沢についてはBaseの時点で素晴らしいですね。
Refinerの効果はロボットの時のような劇的な効果はありませんでした。
おすすめゲーミングマウス
ゲーミングマウスって沢山あるので迷っちゃいますよね。
なのでゲーミングマウスを愛用する私がおすすめする製品を紹介していきます。
選択基準はスペック及びコスパになります。
基本的に高価な程、スペックは上がりますからコスパは重要ですよね！
まとめ
今回は、Stability AIのStable DiffusionのSDXL 1.0を紹介しました。
VRAMの少ないグラボでも設定次第で動きますが、快適に使えるわけではありません。
RTX4070tiでも不足を感じるそうです・・・
ローカル環境よりもGoogle Colabのようなクラウド上で実行するほうが良いかも。
Comment