夜風のMixedReality

xRと出会って変わった人生と出会った技術を書き残すためのGeekなHoloRangerの居場所

写真から人の顔を再現するBlenderアドオン「FaceBuilder」を試す。 製作編

本日はBlender調査枠です。

 2019年末にFaceBuilderという複数の写真から人物の顔を作成できるというBlenderアドオンがリリースされました。

〇FaceBuilderとは?

 FaceBuilder は、自然な表情の写真を複数使用して、フォトリアリスティックな3D モデルを作成できるBlenderアドオンです。

 作成した3D モデルは、後で、Blender でスカルプト、アニメーション、トラッキング、その他さまざまな形で使用したり、ファイルに書き出して他の 3D ソフトウェアにインポートしたりすることができます。

 FaceBuilderを用いることで経験豊富な3Dモデラーがいなくても簡単に作成ができるようです。

medium.com

 前回アドオンを導入しました。

redhologerbera.hatenablog.com

〇Faceを作成する。

 FaceBuilderタグから[Create a new head]を選択し新しい頭部を作成します。

 f:id:Holomoto-Sumire:20200411094907j:plain

 この頭がベースになります。

f:id:Holomoto-Sumire:20200411095222j:plain

〇再現する人の顔写真を導入する。

 ここから再現する人物の様々な角度の顔写真を導入します。

 今回はけん玉×xRで活躍されているけん玉パフォーマー久保田 悟さんを再現していきます。(写真を撮らせていただきました。ありがとうございます。)

 マルチビュータグから[Add Images]をクリックします。

 f:id:Holomoto-Sumire:20200411095641j:plain

 Shiftキーを使用して写真を複数選択し、[Open Images]で写真を導入します。

 f:id:Holomoto-Sumire:20200411095932j:plain

〇写真に合わせてピン止めする

 マルチビュータグから追加した写真をクリックすることで写真が表示されます。

 f:id:Holomoto-Sumire:20200411100148j:plain

 頭部上をクリック、ドラッグ&ドロップすることで赤色のピンを打つことができ、モデルを移動することができます。

 写真に合わせて移動させ、顔のパーツに合わせて複数のタブを打ち頭部と写真を合わせていきます。

 f:id:Holomoto-Sumire:20200411100556j:plain

〇テクスチャを貼る

 ピン止めを終え頭部と写真の顔のパーツを合わせたら次はテクスチャを貼ります。

 テクスチャタブから[Create Texture]を選択します。

 f:id:Holomoto-Sumire:20200411101258j:plain

 今回はピン止め一枚のみなので、ピン止めされているテクスチャのみを選択します。

 f:id:Holomoto-Sumire:20200411101433j:plain

〇完成

 以上でUVに合わせて写真を基にテクスチャが貼られ3Dモデルが完成しました。

 f:id:Holomoto-Sumire:20200411101715j:plain

 今回協力してくれたけん玉パフォーマーの久保田悟さんの3Dモデルが完成しました。

 しかし、この状態だとテクスチャが貼られなかった部分があります。

 取り込んだ写真から別の角度の写真を選択して同じようにピン止めします。

 f:id:Holomoto-Sumire:20200411102248j:plain

 今度は正面と右側面の2種の写真を選択してテクスチャにしました。

 すると先ほどよりテクスチャが貼られました。

 f:id:Holomoto-Sumire:20200411102543j:plain

〇FaceBuilderの仕組み

 FaceBuilderでは写真を取り込みピン止めすることでベースの3D頭部モデルの整形を行うとともに、自動的に「写真の被写体に対して撮ったカメラ角度」を推定し、Blenderのカメラをおいています。

 この情報を基にUVに対して写真を基に一つに合成したテクスチャを貼り付けています。

f:id:Holomoto-Sumire:20200411103856j:plain

 最終的に正面と左右の3面の写真を基にモデルが完成しました。 

 同じ環境で同じ表情での被写体の複数の角度からの写真が多ければ多いほど精度が高くなりそうです。今回6枚写真を撮らせていただいたのですが、3面でも十分リアルに作成できました。

〇今回協力していただいた久保田さんについて

 けん玉とジャグリングなどを組み合わせた凄腕パフォーマーという一面だけではなくVRでの物理挙動などを得意とするエンジニアとしての一面も持っています。

www.youtube.com

 けん玉と言ったら皿に乗っけたり玉の穴にけんを入れたりして遊ぶもの…と思っていましたが、彼の場合けんの二刀流なんてその、糸なしけん玉で玉を自在に操っています。

 指の上でけんをぐるりと回して放り上げ、空中回転の上もう一つのけんのけん先で受け止める技は世界でもできる人が限りなくいないそうです。   twitter.com

 けん玉とxRの融合、ぜひHoloLensでもやりたいですね!