Stable Diffusion 1.5で生成したAI画像を、Stable Fast 3Dで3Dモデルにしてみました。

Stable Fast 3Dは、TripoSRの研究を基に、より洗練された3Dモデルが生成されます。

Stable Fast 3Dは、Fastとあるように処理時間が0.5秒ととても高速です。

Stable Diffusion 1.5で生成したAI画像を、ストレスなく3Dモデルにできます。

• 生成AI画像を瞬時に3Dモデルにできる

 

そのため、綺麗な3Dモデルになるような生成AI画像を探すことが容易になります。

3Dモデルの結果を見て、生成AI画像を試行錯誤することが可能になります。

• 生成した3Dモデルを見ながら、AI画像の生成を試行錯誤できる

 

 

Stable Fast 3D

Stable Fast 3Dの内容紹介と使い方については、以下のサイトが詳しいです。

• 内容紹介：Stable Fast 3Dのご紹介：単一の画像からの高速3Dアセット生成
• 　使い方：3Dモデルを0.5秒で作れるAI「Stable Fast 3D」が登場したので使ってみた

 

主な改良点

TripoSRでも十分実用的だったのですが、Stable Fast 3Dは更に改良されています。

以下は主な改良点です。

• 被写体の照明効果（反射、影、など）の低減
  • 3Dモデルとして使いやすくなる
• 頂点カラーの改良
  • より鮮明なテクスチャーが生成される
• メッシュの改良
  • よりスムーズな形状のアセットを生成する
• マテリアルの予測
  • 被写体の素材が金属か布かなどを予測し、レンダリング品質が向上する

 

• 出典：SF3D: Stable Fast 3D Mesh Reconstruction with UV-unwrapping and Illumination Disentanglement

 

商用利用

• 非商業利用および年間収益100万ドル以下の個人または組織に商業利用を許可する
• この閾値を超える場合は別途問い合わせ

との記述があるので、

• 非商業利用であれば、年間収益100万ドル以上の個人または組織が使用してもOK
• 　商用利用であれば、年間収益100万ドル以下の個人または組織が使用してもOK
• 　上記以外であれば、別途ご相談

と解釈できるので、結論としては、

• 年間収益100万ドル以下の個人または組織は商用利用に使ってもOK

 

• 出典：Stable Fast 3Dのご紹介：単一の画像からの高速3Dアセット生成：ポイント

 

 

 

AUTOMATIC1111とStable Fast 3D

Paperspace上のAUTOMATIC1111で生成したAI画像を、Stable Fast 3Dで3Dモデルにします。

• AUTOMATIC1111　→　Stable Fast 3D

 

Stable Fast 3Dのサイトは以下のURLです。

• Huggingface：Stable Fast 3D

 

作業手順

1. プロンプトの作成
   1. GoogleのGeminiを用いて、プロンプト候補を作る
2. 生成AI画像の作成
   1. 作成した画像を見て、プロンプトを修正する
   2. イメージに合った画像を生成する
3. 3Dモデルの作成
   1. 画像を入力して、3Dモデルを生成する

 

プロンプトの作成

プロンプトの下書きを作る

プロンプトの下書きを、ChatGPTやGeminiを使って作成します。

 

以下の書式を使って、ChatGPTやGeminiに質問します。

 

• 出典：画像生成AIとは？9個のおすすめサービスとプロンプトの書き方のススメ、商用利用についても解説

 

 

Geminiに質問したテーマは以下です。

• とても長いソファーの全体像

Geminiからは色々な提案がありますが、選んだのは以下のプロンプトです。

• vintage leather sofa, very long sofa, living room, cozy, comfortable, cushions, pillows, soft, fabric, modern, minimalist

 

 

画像生成と3Dモデル生成

AUTOMATIC1111で試行錯誤して上手く動くプロンプトは以下でした。

• Prompt：
  • (Overall view of the sofa:1.5), vintage leather sofa, (very long sofa:1.5), living room, cozy, comfortable, cushions, pillows, soft, fabric, modern, minimalist
• Negative prompt：
  • EasyNegative, (Out of sight:1.5), out of view

※注意：EasyNegativeは、Textual Inversionです

 

 

下図の左側はAUTOMATIC1111で、右側はStable Fast 3Dです。

• AUTOMATIC1111とStable Fast 3Dを左右に並べて表示

 

automatic1111-stable_fast_3d ：画像クリックで拡大表示

 

操作手順は以下となります。

1. AUTOMATIC1111でAI画像（ソファー）を生成
2. 生成した画像を、Stable Fast 3DのInput Imageに、ドラッグ＆ドロップ
3. Stable Fast 3Dで画像の背景を削除
4. Stable Fast 3Dで「Run」ボタンをクリック
5. 生成した3Dモデルをダウンロード

 

AUTOMATIC1111で生成したAI画像（ソファー）を、Stable Fast 3DのInput Imageにドラッグ＆ドロップします。

後は、Stable Fast 3Dで入力画像の背景を削除し、3Dモデルにします。

 

 

 

生成AI画像

AUTOMATIC1111で生成したAI画像（ソファー）です。

• 512×512px

 

 

3Dモデル

生成した3Dモデル（sofa.glb）を、3Dビューアーで表示しました。

• 三角形メッシュの数は、15,036個です
• TripoSRと比べて、綺麗な三角形メッシュになっています

ソファーの裏面や下面も綺麗に仕上がっていて、このままで3D素材として使えそうです。

 

 

 

参考

• Stable Fast 3Dのご紹介：単一の画像からの高速3Dアセット生成
• 3Dモデルを0.5秒で作れるAI「Stable Fast 3D」が登場したので使ってみた
• Huggingface：Stable Fast 3D
• 画像生成AIとは？9個のおすすめサービスとプロンプトの書き方のススメ、商用利用についても解説