Stable Diffusion Photomakerで同じ顔の人物を確実に生成するテクニック

桜の咲く春の季節に外でほほ笑んでいる女性のAI写真

Stable Diffusionで、同じ顔の人物を生成したいと思ったことはありませんか?
写真集や立ち絵画像の生成で顔が変わってしまい困ったことはありませんか?

この記事では参照画像と同じ顔の画像を生成できるPhotomakerという機能の使い方を紹介します。

この記事で理解できること
  • Stable Diffusion WebUI ForgeでPhotomakerを使う方法
  • Photomakerの効果
目次

Photomakerとは?

参照画像の人物の特徴を維持したまま、画像生成が行える技術・手法です。

通常、人物を維持して画像生成するには事前学習(LoRAなど)が必要ですが、Photomakerでは1枚の画像だけで学習不要です。

同じように事前学習無しで顔を固定する手法は、FaceIDやControlnetのReference Onlyがありますが、精度や参照画像に近い人物を生成できる点でPhotomakerは優れています。

あわせて読みたい
IP-Adapter-FaceIDの使い方を紹介!【同一人物を生成する方法】 この記事では、Stable Diffusion WebUI(AUTOMATIC1111)でIP-Adapter-FaceIDを使って、同じ顔の人物を生成する方法を具体的に説明します。 この記事で理解できること IP-...
あわせて読みたい
同じ顔を生成できるControlnet Reference Onlyの使い方を紹介します はじめに 今回はControlnetの便利な機能、「Reference Only」の使い方を紹介します。 この記事で理解できること Controlnet Reference Onlyのインストール方法 Controln...

Photomakerの使い方

PhotomakerはHagging Faceでデモ版が公開されていますが、今回はStable Diffusion WebUI Forgeに組み込まれている機能を使用して、ローカルPCで実行する手順を紹介します。

Stable Diffusion WebUI Forgeのインストール方法については、以下の記事で解説しています。

あわせて読みたい
Stable Diffusion WebUI Forgeのインストール方法を紹介! はじめに 今回紹介するStable Diffusion WebUI Forgeは、Stable Diffusion webUI(AUTOMATIC1111)と比べると、大幅な高速化を実現したクライアントツールです。 本記事で...

画像生成に使用するチェックポイントモデルはSDXLベースモデルを設定してください。
SD1.5ベースモデルは対応していないので、Photomakerが正常動作しません。

STEP
モデルのダウンロード・インストール

PhotomakerのモデルをHugging faceからダウンロードします。

ダウンロードしたファイルは「Forgeフォルダ」→「models」→「ControlNet」に保存します。

STEP
ControlNetの設定

WebUI Forgeのホーム画面左下に表示されている「ControlNet Integrated」をクリックして展開します。

その後、参照画像をドラッグ&ドロップするか、クリックしてロードします。

ControlNet Integratedに画像をドラッグ&ドロップするよう促している

次に以下項目をチェックします。

  • Enable:有効化
  • Pixel Perfect:解像度を画像から取得
  • Control TypeからPhotoMakerをチェック
Enable、Pixel Perfect、PhotoMakerをチェックするよう促している

モデルのインストールが問題無ければ、
Preprocessorに「ClipVision (Photomaker)」、
Modelに「photomaker-v1」が自動設定されます。
(反映されない場合は手動で設定してください)

STEP
プロンプトの設定

プロンプトに「a photo of photomaker」を必ず追加してください。
その他のプロンプトは自由です。

ここまで、設定したら画像生成するだけです。

2Dイラストの生成でも「a photo of photomaker」が使えます。
その他「a illustration of photomaker」などが有効です。

たまにphotomakerに反応してカメラが生成されることがあります。
この場合はネガティブプロンプトに「camera」を追加することで回避できる可能性があります。

Photomakerの効果を確認

参照画像の生成及び、画像生成モデルはjuggernautXLを使用しています。

ブロンドショートヘアー女性のAI写真
juggernautXLで生成した参照画像

最初のテストは、参照画像と同じようなプロンプトを追加して生成してみます。

ブロンドショートヘアー女性のAI写真が4枚並んでいる
Photomakerで生成した画像

参照画像と同じ人物に見える画像が生成できました。

次にプロンプトに関係の無いワードを追加して遊んでみました。

ブロンドショートヘアー女性で体がサイボーグになったAI写真
cyborg beautyを追加
ブロンドショートヘアーで眼鏡をかけている女性のAI写真
glassesを追加
ブロンドショートヘアー女性がパーカーを着てネオン街に立っているAI写真
hoodie, neon, in the cityを追加

どれも精度が高いですね。
これなら写真集や、グラビア用の画像にも使い易いです!

まとめ

今回はStable Diffusion WebUI ForgeでPhotomakerを使う方法を紹介しました。

Photomakerはサンプル画像の通り、期待通りの画像が生成できましたね。

FaceIDと比較すると、より参照画像と近い顔が生成できるので現状はイチオシの機能です。

Photomakerの使い方についてYouTube動画も投稿しています。合わせてご確認ください。

よかったらシェアしてね!
  • URLをコピーしました!

この記事を書いた人

IT技術者でありDTMer
EDMの作曲を始めたところ楽しさに気づき、ロック以上にハマっています。
楽器はギターを弾いており、バンドではギタリストとしても活動しています。

コメント

コメントする

目次