Stable Diffusion Photomakerで同じ顔の人物を確実に生成するテクニック

2024年2月13日2024年4月26日

Stable Diffusionで、同じ顔の人物を生成したいと思ったことはありませんか？
写真集や立ち絵画像の生成で顔が変わってしまい困ったことはありませんか？

この記事では参照画像と同じ顔の画像を生成できるPhotomakerという機能の使い方を紹介します。

この記事で理解できること

Stable Diffusion WebUI ForgeでPhotomakerを使う方法
Photomakerの効果

Photomakerとは？

参照画像の人物の特徴を維持したまま、画像生成が行える技術・手法です。

通常、人物を維持して画像生成するには事前学習(LoRAなど)が必要ですが、Photomakerでは1枚の画像だけで学習不要です。

同じように事前学習無しで顔を固定する手法は、FaceIDやControlnetのReference Onlyがありますが、精度や参照画像に近い人物を生成できる点でPhotomakerは優れています。

Photomakerの使い方

PhotomakerはHagging Faceでデモ版が公開されていますが、今回はStable Diffusion WebUI Forgeに組み込まれている機能を使用して、ローカルPCで実行する手順を紹介します。

Stable Diffusion WebUI Forgeのインストール方法については、以下の記事で解説しています。

画像生成に使用するチェックポイントモデルはSDXLベースモデルを設定してください。
SD1.5ベースモデルは対応していないので、Photomakerが正常動作しません。

STEP

モデルのダウンロード・インストール

PhotomakerのモデルをHugging faceからダウンロードします。

ダウンロードしたファイルは「Forgeフォルダ」→「models」→「ControlNet」に保存します。

STEP

ControlNetの設定

WebUI Forgeのホーム画面左下に表示されている「ControlNet Integrated」をクリックして展開します。

その後、参照画像をドラッグ＆ドロップするか、クリックしてロードします。

ControlNet Integratedに画像をドラッグ＆ドロップするよう促している

次に以下項目をチェックします。

Enable：有効化
Pixel Perfect：解像度を画像から取得
Control TypeからPhotoMakerをチェック

Enable、Pixel Perfect、PhotoMakerをチェックするよう促している

モデルのインストールが問題無ければ、
Preprocessorに「ClipVision (Photomaker)」、
Modelに「photomaker-v1」が自動設定されます。
(反映されない場合は手動で設定してください)

STEP

プロンプトの設定

プロンプトに「a photo of photomaker」を必ず追加してください。
その他のプロンプトは自由です。

ここまで、設定したら画像生成するだけです。

2Dイラストの生成でも「a photo of photomaker」が使えます。
その他「a illustration of photomaker」などが有効です。

たまにphotomakerに反応してカメラが生成されることがあります。
この場合はネガティブプロンプトに「camera」を追加することで回避できる可能性があります。