【最新】Instant IDをStable Diffusion WebUIで使用する方法を紹介! | IT技術者のDTM奮闘記
画像生成AI

【最新】Instant IDをStable Diffusion WebUIで使用する方法を紹介!

近未来の服を着た女性のAI写真 画像生成AI

※本ページはプロモーションが含まれています

スポンサーリンク

はじめに

本記事では、Stable Diffusion WebUI(AUTOMATIC1111)でInstant IDを使用する方法を紹介します。

Instant IDは、Stable Diffusionの拡張機能「ControlNet」の機能で、顔の特徴を維持して、オリジナルの画像を生成できます。

nov
nov

今まで以上に参照画像と同じ顔を生成できるから、ぜひ最後までみてマスターしてね。
まだ実験段階だけど、これからはLoRAが不要になるかも・・・

この記事では以下のことが理解できます。

  • Instant IDのインストール方法
  • Stable Diffusion WebUI(AUTOMATIC1111)でのInstant IDの使い方
スポンサーリンク

Instant IDとは

「Instant ID」は、最先端の技術の一つで、
一枚の画像から人物の特徴を保持した画像を生成できる技術です。

従来は事前学習が必要でしたが、Instant IDはトレーニング不要な点が一番の特徴です。

Stable Diffusion WebUIのInstant IDは、ControlNetとIPアダプターを組み合わせて、顔の特徴を維持します。

nov
nov

簡単にいうと、一つの画像から似たような人物の画像を生成する技術だよ。

似た技術を使用した「IP-Adapter-FaceID」については、以下の記事で解説しています。

Instant IDのインストール方法

Stable Diffusion WebUIでInstant IDを使用するにはControlNetが必須になります。

まだControlNetをインストールしていない場合は、下記の記事を参考にインストールしましょう。

既にインストール済みの方は、ControlNetのバージョンに注意しましょう。
ControlNetのバージョンが古い場合には、以下の記事を参考に最新版にしておきましょう。

それではInstant IDのインストール方法を紹介します。

Instant IDでは以下2つのモデルを使って画像生成を行います。

  • IPアダプターモデル:参照画像の顔の特徴を維持する
  • ControlNetモデル:顔のパーツ位置を参照画像から読み込む

Instant IDは顔のパーツ位置まで参照するので、参照画像の人物と同じような画像を、高精度で生成可能です。

  • STEP1
    IPアダプターモデルのインストール

    Instant IDのHugging FaceのページからIPアダプターモデルをダウンロードします。

    ダウンロードしたファイルは「webuiフォルダ」→「models」→「ControlNet」フォルダに保存します。

    さらにファイル名を「ip-adapter.bin」→「ip-adapter_instant_id_sdxl.bin」に変更します。

  • STEP2
    ControlNetモデルのインストール

    Instant IDのHugging FaceのページからControlNetモデル(DiffusionPytorchモデル)をダウンロードします。

    ダウンロードしたファイルは「webuiフォルダ」→「models」→「ControlNet」フォルダに保存します。

    さらにファイル名を「diffusion_pytorch_model.safetensors」→「control_instant_id_sdxl.safetensors」に変更します。

    これで準備完了です。

Stable Diffusion WebUIでInstant IDを使う方法

現状のControlNetで、Instant IDを使用するには少し複雑な設定が必要です。
またSDXL専用のモデルとなっているので、SD1.5ベースモデルなどでは使用できません。

以降で、実際に画像生成するまでの手順を紹介します。

使用している画像は日本語環境です。
日本語に変更したい場合は以下の記事をご参考ください。

  • STEP1
    ControlNet Unit0の設定

    ControlNet Unit0に参照画像をドラッグ&ドロップするか、クリックしてロードします。

    Controlnetに画像をドラッグ&ドロップするよう促している

    Unit0に設定した参照画像と同じような画像が生成されます。

    次に以下項目をチェックします。

    • Enable 有効化
    • Pixel Perfect 解像度を画像から取得
    • Control TypeからInstant_IDをチェック
    Enable、Pixel Perfect 、Instant_IDのチェックを促している

    次にPreprocessorとModelを選択します。

    Preprocessorは「instant_id_face_embedding」を選択し、Modelは「ip-adapter_instant_id_sdxl」を選択します。

    Preprocessorに「instant_id_face_embedding」をModelに「ip-adapter_instant_id_sdxl」を選択するよう促している
  • STEP2
    ControlNet Unit1の設定

    ControlNet Unit1に参照画像をドラッグ&ドロップするか、クリックしてロードします。

    Controlnetに画像をドラッグ&ドロップするよう促している

    Unit1の参照画像からは、顔のパーツ位置が読み出されます。
    Unit0と同じ画像でも良いし、別の画像でも問題ありません。

    次に以下項目をチェックします。

    • Enable 有効化
    • Pixel Perfect 解像度を画像から取得
    • Control TypeからInstant_IDをチェック
    Enable、Pixel Perfect 、Instant_IDのチェックを促している

    次にPreprocessorとModelを選択します。

    Preprocessorは「instant_id_face_keypoints」を選択し、Modelは「control_instant_id_sdxl」を選択します。

    Preprocessorに「instant_id_face_keypoints」を、Modelに「control_instant_id_sdxl」を選択するよう促している
  • STEP3
    その他の設定

    プロンプト、解像度(SDXL用)、サンプラーなどは、いつもの感覚で問題ありません。

    CFGスケールのみ4~5程度で、低めに設定します。
    (CFGスケールの影響については後述します)

    これで設定完了です。
    後は画像生成するだけです。

Instant IDの使い方についてYouTube動画も投稿しています。
合わせてご参考ください。

Instant IDで生成したサンプル画像を確認

それではInstant IDで生成したサンプル画像を紹介していきます。

今回の参照画像はFuduki Mixで生成しています。

また、テストのために、Unit0,1で別々の画像を設定しました。

街に立つロングヘアーの女性のAI写真
Unit0参照画像
駅に立つロングヘアーの女性のAI写真
Unit1参照画像

画像生成に使用したモデルはJuggernaut XLです。

サイボーグな衣装を着た女性のAI写真
サイボーグな衣装を着た女性のAI写真
サイバーパンクな衣装を着た女性のAI写真
サイバーパンクな衣装を着た女性のAI写真

いかがでしょうか。

FaceIDも高精度でしたが、Instant IDは顔のパーツ位置まで再現するので、より一貫性の高い画像が生成されています。

nov
nov

参照画像と生成画像のモデルが違うのに、参照画像の人物とも似ているよね。

ただ、現時点では画質面で不満が残りますね。
解像感が落ちることと、彩度が低めの画像が生成されます。

このように画質面で不満が残りますが、実はLCM-LoRAとの相性が良いです。

LCM-LoRAを使用して生成した画像は以下の通りです。

ジャケットを羽織ったブロンドヘアー女性のAI写真
InstantID + LCM-LoRAサンプル1
燃えた炎のエフェクトが混じったブロンドヘアー女性のAI写真
InstantID + LCM-LoRAサンプル2

如何でしょうか。
このくらいの画質なら十分使えるかと思います。

恐らくLCMサンプラーに対応しており、良い方向に振れたのだと考えられます。

LCM-LoRAについては以下の記事で解説しています。

CFGスケールの影響を確認

先程、CFGスケールを低めに設定するようお伝えしましたが、画像にどのような影響があるのか確認してみます。

以下はCFGスケールを1~7まで振った画像です。

サイボーグな衣装を着た女性のAI写真
CFGスケール別に7枚並んでいる
クリックで拡大表示

値が低くなるほど彩度が落ちて、ぼやっとした画像であることがわかります。
また、6以上は高すぎるのか少し潰れて見えますね。

以上のことから、バランス的に4~5程度がおすすめです。
モデルとの相性もあるので、最初は少しだけ落として様子を見てみましょう。

AI画像生成は余裕を持ったストレージ容量がおすすめ

AI画像生成では思った画像が生成できないことが多々あるので、テスト用の画像を沢山生成します。

また、モデルデータも数GBのデータ容量なのでデータ保存先となるストレージは大容量のHDDやSSDがおすすめです。

容量を求めるならHDD、読み込み/書き込みスピードもある程度欲しい場合はSSDを選択しましょう。
(SSDの方がスピードと静音性(無音です)に優れます)

高い信頼性かつ大容量でランキング上位の常連HDD、AI画像生成にぴったり!

高速かつ大容量SSDでAI画像生成もノンストレス!

大容量かつ超高速なM.2 NVMe SSD、AI画像生成で更なるスペックを求める方に

ノートPCで増設するなら高速なSSDです

ノートPCで増設したいけど価格を抑えたい方におすすめ!

スポンサーリンク

まとめ

今回はStable Diffusion WebUI(AUTOMATIC1111)でInstant IDを使用する方法を紹介しました。

Instant IDは設定が少し複雑ですが、一貫性のある画像を生成するにはうってつけの機能です。
これだけ少ない画像から、同じような人物が生成されるので、LoRAを使わなくなるかも・・・

まだ画質面で不満が残りますが、近い将来には不満も消し飛ぶでしょう!

AI画像生成が捗る高コスパグラフィックボード

最高の生成スピードを求めるならコレ!

最新の4000シリーズから、バランスが丁度いいグラボ!

注目
セーターを着た日本人女性のAI写真
Stable Diffusionの使い方・記事まとめ【Stable Diffusion WebUIの使い方】
Stable Diffusion関連の記事が増えてきたので、使い方に関する記事をまとめました。
注目
黒髪のアニメ調女性のAIイラスト
Stable Diffusionのアニメ系イラストが得意なモデル8選!
アニメ調のイラストが得意なStable Diffusionのおすすめモデルを紹介していきます
注目
黒のロングヘアー女性のAIイラスト
美少女2次元イラストに最適なモデル5選!!【Stable Diffusion モデル紹介】
2Dイラストに最適なStable Diffusionのおすすめモデルを紹介していきます。
注目
金髪のサイボーグボディの女性のAI写真
Stable Diffusionのリアル・実写系が得意なモデル5選!【Stable Diffusion モデル紹介】
リアル・実写系に最適なStable Diffusionのおすすめモデルを紹介していきます。
注目
ショートヘアー日本人女性のAI写真
Stable DiffusionのおすすめNSFWモデル8選!!【最新版】
NSFW画像の生成が得意なStable Diffusionのおすすめモデルを紹介していきます。
注目
オフィスに立つ日本人女性のAI写真
SDXLベースでNSFW画像が生成できるおすすめモデル10選【Stable Diffusionモデル紹介】
SDXLベースモデルでNSFWコンテンツに特化したモデルを紹介していきます。
注目
コートを着た日本人女性のAI写真
Stable Diffusionのおすすめモデルを用途別に紹介するよ
Stable Diffusionで使用できるおすすめモデルを用途別に紹介していきます
注目
侍姿の女性のAIイラスト
ComfyUIのインストール手順を画像付きで解説【軽量、高速なStable Diffusionクライアント】
Stable Diffusionの軽量・高速なクライアントComfyUIのインストール手順を紹介します。
注目
茶髪女性が町中に立っているAI写真
【簡単】Fooocusのインストールと使い方を紹介します!
Fooocusのインストールから簡単な使い方を解説していきます。Fooocusは数あるStable Diffusion WebUIの中でも、軽量かつシンプルなクライアントアプリです。
注目
タートルネックを着た黒髪女性のAI写真
Stable Diffusionを高速化するSDPAを紹介します【Stable Diffusion WebUIの使い方】
高速化が可能となるSDPAの使い方を紹介します。

Comment

タイトルとURLをコピーしました