本日はUntiy枠です。
先日RenderStreamingの調査の中でBibcamについて触っていきました。
BibcamはLiDAR搭載のiPhoneで撮影したDepthなどの情報が含まれた映像をもとにあれこれをすることができるというサンプルです。
iPhoneで撮影されるデータは以下の画像のようにRGBだけでなくDepth、人体などの情報が同じタイムフレームで一つの映像にまとめられています。
前回はiPhoneで動作確認をしました。
今回はVFXのサンプルを試していきます。
〇BibcamVFX
①リポジトリからCloneします。
②Unityでプロジェクトを開きます。
今回はUnity2021.3.21f1で動作確認をしています。
③Git直下(Assetsと同じ階層)にText.mp4という名前でiPhoneで撮影したデータを配置します。
④サンプルシーンを開きます。サンプルはAssetsではなくPackages内のBibcamVFXSamples/Runtimeにあります。
⑤Unityのシーンを実行すると撮影したデータのVFX表現を確認できます。
今回は神社周辺で撮影しParticles1シーンで再生しました。
シーンを実行するとただカメラ映像にVFXがかかっているだけではなくカメラオブジェクト自体がiPhoneの録画時の挙動を３次元上でなぞっていることが確認できます。
筆者はDepth情報などの情報をもとにUnityEditor側ではただ平面で処理が行われていると思っていましたが、実際はARFoundationの機能を用いて３Dで処理されていました。
本日は以上です。
