SD1.5画像をStable Fast 3Dで3Dモデルにする
Stable Diffusion 1.5で生成したAI画像を、Stable Fast 3Dで3Dモデルにしてみました。
Stable Fast 3Dは、TripoSRの研究を基に、より洗練された3Dモデルが生成されます。
Stable Fast 3Dは、Fastとあるように処理時間が0.5秒ととても高速です。
Stable Diffusion 1.5で生成したAI画像を、ストレスなく3Dモデルにできます。
- 生成AI画像を瞬時に3Dモデルにできる
そのため、綺麗な3Dモデルになるような生成AI画像を探すことが容易になります。
3Dモデルの結果を見て、生成AI画像を試行錯誤することが可能になります。
- 生成した3Dモデルを見ながら、AI画像の生成を試行錯誤できる
Stable Fast 3D
Stable Fast 3Dの内容紹介と使い方については、以下のサイトが詳しいです。
主な改良点
TripoSRでも十分実用的だったのですが、Stable Fast 3Dは更に改良されています。
以下は主な改良点です。
- 被写体の照明効果(反射、影、など)の低減
- 3Dモデルとして使いやすくなる
- 頂点カラーの改良
- より鮮明なテクスチャーが生成される
- メッシュの改良
- よりスムーズな形状のアセットを生成する
- マテリアルの予測
- 被写体の素材が金属か布かなどを予測し、レンダリング品質が向上する
商用利用
- 非商業利用および年間収益100万ドル以下の個人または組織に商業利用を許可する
- この閾値を超える場合は別途問い合わせ
との記述があるので、
- 非商業利用であれば、年間収益100万ドル以上の個人または組織が使用してもOK
- 商用利用であれば、年間収益100万ドル以下の個人または組織が使用してもOK
- 上記以外であれば、別途ご相談
と解釈できるので、結論としては、
- 年間収益100万ドル以下の個人または組織は商用利用に使ってもOK
AUTOMATIC1111とStable Fast 3D
Paperspace上のAUTOMATIC1111で生成したAI画像を、Stable Fast 3Dで3Dモデルにします。
- AUTOMATIC1111 → Stable Fast 3D
Stable Fast 3Dのサイトは以下のURLです。
- Huggingface:Stable Fast 3D
作業手順
- プロンプトの作成
- GoogleのGeminiを用いて、プロンプト候補を作る
- 生成AI画像の作成
- 作成した画像を見て、プロンプトを修正する
- イメージに合った画像を生成する
- 3Dモデルの作成
- 画像を入力して、3Dモデルを生成する
プロンプトの作成
プロンプトの下書きを作る
プロンプトの下書きを、ChatGPTやGeminiを使って作成します。
以下の書式を使って、ChatGPTやGeminiに質問します。
画像生成AIに使用するためのプロンプトを作成します。以下のテーマを描画するために必要な要素をフォーマットに従って羅列してください。フォーマットは以下のものです。キーワードはすべて英語で羅列するようにしてください。
キーワード, キーワード, キーワード, キーワード…
要素の数は10~20個までとします。また、優先する要素がある場合は要素の初めに優先してキーワードを置くようにしてください。
・テーマ
—文章でテーマを指示する(ここを変更)—
・優先する要素
—特に優先する要素がある場合、要素を指示する(ここを変更)—
Geminiに質問したテーマは以下です。
- とても長いソファーの全体像
Geminiからは色々な提案がありますが、選んだのは以下のプロンプトです。
- vintage leather sofa, very long sofa, living room, cozy, comfortable, cushions, pillows, soft, fabric, modern, minimalist
画像生成と3Dモデル生成
AUTOMATIC1111で試行錯誤して上手く動くプロンプトは以下でした。
- Prompt:
- (Overall view of the sofa:1.5), vintage leather sofa, (very long sofa:1.5), living room, cozy, comfortable, cushions, pillows, soft, fabric, modern, minimalist
- Negative prompt:
- EasyNegative, (Out of sight:1.5), out of view
※注意:EasyNegativeは、Textual Inversionです
下図の左側はAUTOMATIC1111で、右側はStable Fast 3Dです。
- AUTOMATIC1111とStable Fast 3Dを左右に並べて表示
automatic1111-stable_fast_3d :画像クリックで拡大表示
操作手順は以下となります。
- AUTOMATIC1111でAI画像(ソファー)を生成
- 生成した画像を、Stable Fast 3DのInput Imageに、ドラッグ&ドロップ
- Stable Fast 3Dで画像の背景を削除
- Stable Fast 3Dで「Run」ボタンをクリック
- 生成した3Dモデルをダウンロード
AUTOMATIC1111で生成したAI画像(ソファー)を、Stable Fast 3DのInput Imageにドラッグ&ドロップします。
後は、Stable Fast 3Dで入力画像の背景を削除し、3Dモデルにします。
生成AI画像
AUTOMATIC1111で生成したAI画像(ソファー)です。
- 512×512px
![sofa](https://monoocean.com/wp-content/uploads/2024/08/sofa.png)
3Dモデル
生成した3Dモデル(sofa.glb)を、3Dビューアーで表示しました。
- 三角形メッシュの数は、15,036個です
- TripoSRと比べて、綺麗な三角形メッシュになっています
ソファーの裏面や下面も綺麗に仕上がっていて、このままで3D素材として使えそうです。
![3D Model:sofa](https://monoocean.com/wp-content/uploads/2024/08/3D-sofa-1.png)
参考
- Stable Fast 3Dのご紹介:単一の画像からの高速3Dアセット生成
- 3Dモデルを0.5秒で作れるAI「Stable Fast 3D」が登場したので使ってみた
- Huggingface:Stable Fast 3D
- 画像生成AIとは?9個のおすすめサービスとプロンプトの書き方のススメ、商用利用についても解説