本日はBlender調査枠です。
2019年末にFaceBuilderという複数の写真から人物の顔を作成できるというBlenderアドオンがリリースされました。
〇FaceBuilderとは?
FaceBuilder は、自然な表情の写真を複数使用して、フォトリアリスティックな3D モデルを作成できるBlenderアドオンです。
作成した3D モデルは、後で、Blender でスカルプト、アニメーション、トラッキング、その他さまざまな形で使用したり、ファイルに書き出して他の 3D ソフトウェアにインポートしたりすることができます。
FaceBuilderを用いることで経験豊富な3Dモデラーがいなくても簡単に作成ができるようです。
前回アドオンを導入しました。
〇Faceを作成する。
FaceBuilderタグから[Create a new head]を選択し新しい頭部を作成します。
この頭がベースになります。
〇再現する人の顔写真を導入する。
ここから再現する人物の様々な角度の顔写真を導入します。
今回はけん玉×xRで活躍されているけん玉パフォーマー久保田 悟さんを再現していきます。(写真を撮らせていただきました。ありがとうございます。)
マルチビュータグから[Add Images]をクリックします。
Shiftキーを使用して写真を複数選択し、[Open Images]で写真を導入します。
〇写真に合わせてピン止めする
マルチビュータグから追加した写真をクリックすることで写真が表示されます。
頭部上をクリック、ドラッグ&ドロップすることで赤色のピンを打つことができ、モデルを移動することができます。
写真に合わせて移動させ、顔のパーツに合わせて複数のタブを打ち頭部と写真を合わせていきます。
〇テクスチャを貼る
ピン止めを終え頭部と写真の顔のパーツを合わせたら次はテクスチャを貼ります。
テクスチャタブから[Create Texture]を選択します。
今回はピン止め一枚のみなので、ピン止めされているテクスチャのみを選択します。
〇完成
以上でUVに合わせて写真を基にテクスチャが貼られ3Dモデルが完成しました。
今回協力してくれたけん玉パフォーマーの久保田悟さんの3Dモデルが完成しました。
しかし、この状態だとテクスチャが貼られなかった部分があります。
取り込んだ写真から別の角度の写真を選択して同じようにピン止めします。
今度は正面と右側面の2種の写真を選択してテクスチャにしました。
すると先ほどよりテクスチャが貼られました。
〇FaceBuilderの仕組み
FaceBuilderでは写真を取り込みピン止めすることでベースの3D頭部モデルの整形を行うとともに、自動的に「写真の被写体に対して撮ったカメラ角度」を推定し、Blenderのカメラをおいています。
この情報を基にUVに対して写真を基に一つに合成したテクスチャを貼り付けています。
最終的に正面と左右の3面の写真を基にモデルが完成しました。
同じ環境で同じ表情での被写体の複数の角度からの写真が多ければ多いほど精度が高くなりそうです。今回6枚写真を撮らせていただいたのですが、3面でも十分リアルに作成できました。
〇今回協力していただいた久保田さんについて
けん玉とジャグリングなどを組み合わせた凄腕パフォーマーという一面だけではなくVRでの物理挙動などを得意とするエンジニアとしての一面も持っています。
けん玉と言ったら皿に乗っけたり玉の穴にけんを入れたりして遊ぶもの…と思っていましたが、彼の場合けんの二刀流なんてその、糸なしけん玉で玉を自在に操っています。
指の上でけんをぐるりと回して放り上げ、空中回転の上もう一つのけんのけん先で受け止める技は世界でもできる人が限りなくいないそうです。 twitter.com
けん玉とxRの融合、ぜひHoloLensでもやりたいですね!