Stable Diffusion web UIのRealism Engine
Contents
写真のようなリアルな画像を生成したいので「Realism Engine」をインストールしました。
- Realism Engine：写真のような高画質画像を生成する
Realism Engine
Realism Engineは以下のURLにあります。
パブリック ドメイン画像の膨大なコレクションを使用して高画質画像を生成できるようしたとのことです。
ライセンスは「creativeml-openrail-m」のみで、付加条件はありません。そのため商用利用が可能です。
- ライセンス：creativeml-openrail-mのみ ← 商用利用可
商用利用に関心がある人は、関連記事をご参照ください。
- 関連記事：画像生成AIの商用利用方法
Realism Engineの利用方法は以下のサイトで詳しく解説されています。
Realism Engineのダウンロードなどの詳細はこちらのサイトをご参照ください。
Realism Engineのダウンロード
CIVITAIにあるRealism Engineのサイト、その右上に「Download」ボタンがあります。
- Downloadボタンをクリック → 自分のPCにファイルをダウンロードする
- config fileをクリック → 自分のPCにコンフィグファイルをダウンロードする
「config file」も忘れずにダウンロードします！
- realismEngine_v10.safetensors ← 2.43GB
- realismEngine_v10.yaml ← 2KB
Realism Engineのアップロード
ダウンロードした２つのファイルをPaperspaceにアップロードします。
アップロード先は以下のフォルダー内です。
- /notebooks/stable-diffusion-webui/models/Stable-diffusion
低速アップロード
- JupyterLabのFile Browserで/notebooks/stable-diffusion-webui/models/Stable-diffusionを開く
- そこに自分のPCにあるyamlファイルをドラッグ＆ドロップする
- realismEngine_v10.yaml ← 2KB
- 数秒後、アップロードが完了する
- 次にsafetensorsファイルをアップロードするが、
- ２時間程要してもよい場合は、以下の処理
- yamlファイルと同じ所に、自分のPCにあるsafetensorsファイルをドラッグ＆ドロップする
- realismEngine_v10.safetensors ← 2.43GB
- ２時間後、アップロードが完了する
- yamlファイルと同じ所に、自分のPCにあるsafetensorsファイルをドラッグ＆ドロップする
- ２時間も待てない場合は、後にある高速アップロードにいく
- ２時間程要してもよい場合は、以下の処理
高速アップロード
gdownを使う方法で数十秒でアップロードできます。
詳細は関連記事をご参照ください。
gdownでのエラー対応も上記記事をご参照ください。
- エラー：Access denied with the following error
概要は以下となります。
- pthファイルをGoogle Driveにアップロードする
- Google DriveからPaperspaceにアップロードする
Realism Engineの使用
上記２つのファイルをアップロードしたら、Stable Diffusion web UIを再起動します。
- アップロード後、Stable Diffusion web UIを再起動
生成する画像サイズは768×768にします。
- size：768×768
- prompt：(leisure boats:1.2), boats on the Shonan Sea, Blue sky, Summer, clear sky, Fine day, photo,
- negative prompt：bad_prompt_version2, wood, 3d render, cgi, painting, drawing, cartoon, anime
※bad_prompt_version2はTextual Inversionです
チェックポイントでrealismEngineを選択します！
- Stable Diffusion checkpoint：realismEngine_v10.safetensors
ランタイムエラー
Nans Exception : A tensor with all NaNs was produced in Unet.
以下、対処法
- 上記画面の「Settings」をクリック
- 左側で「Stable Diffusion」を選択
- 一番下までスクロールする
- Upcast cross attention layer to float32にチェック（✔）を入れる
- 一番上までスクロールする
- 赤文字「Apply settings」をクリック
- Apply settingsの上にある「txt2img」をクリックして戻る
詳細は、以下のサイトをご参照ください。
mat1 and mat2 shapes cannot be multiplied
これはControlNetを使おうとしたときにでたエラーです。
以下、対処法
- Realism EngineでControlNetは使えない！
ControlNetはStable Diffusion1.5をベースにしたモデルのみに有効で、Realism EngineはStable Diffusion2.1をベースにしたモデルだからです。
詳細は、以下のサイトをご参照ください。
参考
- 【Stable Diffusion 2.1】リアル画像ならRealism Engine
- Stable Diffution実行時に “NansException: A tensor with all NaNs was produced in Unet.” エラーが発生する (Stable Diffusion Tips)
- AUTOMATIC1111版web UIのControlNet
