夜風のMixedReality

xRと出会って変わった人生と出会った技術を書き残すためのGeekなHoloRangerの居場所

生成AIを組み合わせて3Dフィギュアを作成する

本日はAI枠です。

 近年生成AIの進化が著しいですが、単一のAIサービスで完結させるのではなく、複数のAIサービスを連動させて使うことで非常に高度な作品が作成できます。

 今回はGeminiとHitem3Dを組み合わせて3Dフィギュアを作成する。

※生成AIのサービス内容変化によってはもっと効率的なアプローチや本アプローチそのものが動かなくなるということもあります。 あくまで本記事執筆、公開現在の情報で記述します。

〇Geminiとは?

 Geminiは生成AIの2台巨頭であるGoogleが開発したLLM(大規模言語モデル)です。

 OpenAI社のChatGPTのように自然言語で対話をすることができるほか、モデル(生成AIの頭脳)によっては動画生成、画像生成も可能としています。

 Geminiの場合はProプランが教育機関のメールアドレスがあれば無料で使用することができます。

 例えば筆者の場合は3DCGを作成しているため、画像をアップロードして、「この写真から○○を削除して」というように指示を与えて結果を3DCGの背景やテクスチャとして使用しています。

 従来Photoshopなどで行っていた作業が自動で行ってくれるため、非常に便利で効率的です。

〇Hitem3Dとは?

 Hitem3DはImageTo3Dにカテゴライズされるように画像から3DCGを作成するAIサービスです。

 Meshyなど他のサービスが類似ありますが、それらとの最大の違いとして造形の高精細さがあげられます。その分ハイポリゴンがデフォルトであり、100万ポリゴン程度のモデルが生成物として出力されます。

〇注意点

何度も触れている通り生成AIは技術的にも倫理的にも発展途中のものです。

 直近ではGeminiの生成する画像内にバンダイ社のロゴに誤認させるようなマークが表示されることに対してバンダイが注意文を出しています。

www.bandai.co.jp

本記事内ではあくまで筆者のオリジナルの画像を用いて筆者が認識している中での前述のロゴのような他の著作物に影響を与える内容が含まれないように作成していますが、あくまで利用する際は注意が必要です。

〇生成AIを組み合わせて3Dフィギュアを作成する。

〇Geminiでフィギュア画像を生成する。

①まずはオリジナルの素体を用意します。

今回は以前筆者がシアトルMicrosoft社に行ったときに撮影した写真から作っていきます。

②Geminiへアクセスし画像をアップロード、プロンプトを入力します。 (ここでは2.5Proモデルを使用しています。)

この私の写真からジオラマフィギュアを作ってほしい

③ケースなどが入っていた場合は削除依頼を出します。

これによってジオラマの基とする画像ができました。

④次に前面からだけではなく一周するような写真を生成させます。

正面図、右から見た図、後ろから見た図、左から見た図をそれぞれ1枚ずつ、計4枚作ってほしい

これによって次のような画像が出力されました。これをDLします。

Geminiからは次のような画像を入手できました。

〇Hitem3Dを使用して3D化する

①Hitem3Dのサイトへアクセスします。

https://www.hitem3d.ai/?gad_source=1&gad_campaignid=23004325571&gbraid=0AAAABAd7BROr6PlE2ShNhMMUZY8yuo4Pf&gclid=Cj0KCQiA5uDIBhDAARIsAOxj0CFyOMIcXqbcQCCnXbBq6Vys7VrIX88hfTw9ivF76A0Wd_uNs_2cECoaAkfxEALw_wcB

②上部のタイプからGeneralからPortraitへ切り替えます。

これは今回が人間型であるためです。

③Image to 3DからMulti-view To 3Dへ切り替えます。

なお生成にはクレジットが必要です。無料で100クレジット付与されますが、これは基本的には再チャージされないので注意が必要です。

余談ですが、筆者の場合はベータテストなどに参加させていただいた結果無課金ですが、クレジットをいただいております。

Multi-view to 3Dの場合は50クレジット消費します。

④正面、側面、背面でそれぞれ画像をセットします。

その後Generateを選択します。

⑤生成が始まります。これには5分程度以上かかります。

生成されるとビューで次のように表示されます。

この時点で納得がいかない場合は3回までは無料で再生成が可能です。

プリントする場合はSTL形式などでDLしてプリンターに回します。

以上で生成AIを組み合わせた3Dフィギュアの作成になります。