夜風のMixedReality

xRと出会って変わった人生と出会った技術を書き残すためのGeekなHoloRangerの居場所

Charactor Creatore4のHeadshot Pluginで写真から人物の顔を作成する

本日はモデリング枠です。

この前CharactorCreatoreのプラグインであるHeadshot Pluginの新しいバージョンとしてHeadshot Plugin2が登場しました。

今回はドキュメントを読みながらこちらを触ってみます。

〇HeadshotPluginのドキュメント

Headshotは画像からCC4のキャラクターを作成することができますが、CC4のドキュメントには見つけることができませんでした。

manual.reallusion.com

しかしTutorialビデオとしては公開されているためいったん基本の機能をさらった後にこちらも触ってみます。

courses.reallusion.com

〇Headshot Plugin を使用して写真から人物のモデルを作る

①CharactorCreator4を起動し、Headshot v2タブを開きます。

AutoProかどちらを使用するかを選択ができます。

それぞれの違いは次のようになります。

Auto Pro(v1) Pro(v2)
髪生成 ×
テクスチャ解像度 1024×1024 4096×4096 8192×8192
人種プロファイル ×
メッシュのテクスチャベイク × ×
写真のリプロジェクション × ×

基本的にはPro(v2版)ができることが多いようですが現時点ではv1のProから継承されていない機能もあるようです。

今回はv2のProを使用していきます。

Drag in or Copy-Paste a photo to startに元となる画像を追加します。

今回は声優の古谷徹さんの写真をテストとして使用しています。

最初はAIに作らせた顔を使用していたのですが、どうしても頭全体を映した良い画像を生成してくれなかったという経緯があります。

上記のように顔だけでなくある程度頭も認識させる必要があるため使用する画像にはある程度制限があります。

Body TypeSkin Typeを選択しGenerateボタンを押します。

Skin Typeはどのように肌を生成するかというものになります。

このSkin Type自体は生成後に変更することもできます。

生成が完了すると次のようになりました。

ここまではBlender等でもあるような画像を貼り付け顔を生成する技術ですが、多くの類似技術同様ある角度から見るとよくても、一部が破断してしまっていたりうまく形状に寄せてくれなかったりといった部分があります。

今回の場合は右頬に対して左頬が腫れているように見えます。

CharachorCreatoreの場合Headshot Pluginによる追加モーフによってより細かな調整が可能となっています。

④上部タブからHEADSHOT2の隣のアイコンを選択します。

これによって元画像と3Dモデルが対応するように表示されます。

⑤モーフのパラメータを使用して画像をリファレンスにして顔の形状を調整することができます。

今回は髪の作成までは不明だったため髪は適当につけていますが、数分で元の写真の人物に雰囲気が近い3Dアバターを作成することができます。

以上がHeadshot Pluginになります。 Youtubeなどではチュートリアルをはじめとして様々な情報が転がっているので読み解いていきたいです。

またこの種のテクノロジーの課題としてサンプルの画像を探すのが大変というのがあります。女性型であれば生成系で多く生成してくれるのですが…