Stable Diffusion web UIのHires. fix
SD2.1を基にしたモデル（Realism Engine）でHires. fixを使い高解像度にしてみました。
生成した画像を高解像度にしたい場合、Hires. fixを使うかControlNetのTileを使います※。
- ２倍：768×768 → 1536×1536
- ３倍：512×512 → 1536×1536
高解像度にする方法はモデルの種類によって異なります。
- SD1.5を基にしたモデル：Beautiful Realistic Asians（BRA）など
- 使用可 ：Hires. fix
- 使用可 ：ControlNetのTile ← おすすめ！
- SD2.1を基にしたモデル：Realism Engineなど
- 使用可 ：Hires. fix
- 使用不可：ControlNet
SD2.1を基にしたモデルは「フォトリアル」な画像を生成するのでぜひ使いたいのですが「ControlNet」が使えません。
- SD2.1を基にしたモデル（Realism Engineなど）をぜひとも使いたい
ここではPaperspaceで、SD2.1を基にしたモデル（Realism Engine）にHires. fixを適用した結果をご紹介します。
※高解像度化は、Stable Diffusionを使わず、アプリやWebサービスを利用しても可能です
元画像の生成
Paperspace
Paperspace上のStable Diffusion web UIで画像を生成しました。
今回使用したGPUは以下の通りです。
- Free-A4000：45GB RAM, 8 CPU, 16GB GPU
まず、txt2imgで画像生成しました。
- Stable Diffusion checkpoint：realismEngine_v10
- Prompt：(photo:1.3), (Front view of the houses:1.2), a row of colorful and classic one-story houses on the side of a river
- Negative prompt：woods, trees, planting, sky, 3d render, cgi, painting, drawing, cartoon, anime
- Width, Height：768×768
- Sampling steps：20
- CFG Scale：7
まるで写真のような（フォトリアル）画像です。
Hires. fix
高解像度にする（Upscale）のは２倍までで、３倍にするとランタイムエラーになりました。
- Upscale by：２ ← ３にするとランタイムエラー（Not enough memory）
- resize：from 768×768 to 1536×1536
Upscalerは「Latent」と「SwinIR_4x」で動かしました。
Upscaler：Latent
- Stable Diffusion checkpoint：realismEngine_v10
- Prompt：(photo:1.3), (Front view of the houses:1.2), a row of colorful and classic one-story houses on the side of a river
- Negative prompt：woods, trees, planting, sky, 3d render, cgi, painting, drawing, cartoon, anime
- Hires. fix：☑ ← チェックを入れる！
- Width, Height：768×768
- Sampling steps：30
- Denoising strength：0.5
- CFG Scale：7
- Hires upscale：2
- Hires upscaler：Latent
高解像度になりましたが、画質は「ガタガタ」になっています！
- 高解像度になったが、画質は低下した
Sampling stepsやDenoising strengthの値をいろいろと変えてみましたが、「ガタガタ」は直りませんでした。
Upscaler：SwinIR_4x
- Stable Diffusion checkpoint：realismEngine_v10
- Prompt：(photo:1.3), (Front view of the houses:1.2), a row of colorful and classic one-story houses on the side of a river
- Negative prompt：woods, trees, planting, sky, 3d render, cgi, painting, drawing, cartoon, anime
- Hires. fix：☑ ← チェックを入れる！
- Width, Height：768×768
- Sampling steps：30
- Denoising strength：0.5
- CFG Scale：7
- Hires upscale：2
- Hires upscaler：SwinIR_4x
高解像度になっています。
全部試したわけではないですが、SD2.1を基にしたモデルの場合、Latent系以外のUpscalerを使った方が良さそうです。
- SD2.1を基にしたモデルの場合、Latent系以外のUpscalerを使う
