本日はUnity枠です。
今回は先日RenderStreamingについて情報を調べているときにアイデアとして参考になると紹介されていたリポジトリを試していきます。
〇環境
・Mac Mini(M2)
・Unity2021.3.21f1
・iPhone12 ProMax※ 実行にはLIDER対応デバイスである必要があります。
〇リポジトリ
今回はUnityの啓次郎さんが公開している以下のリポジトリを使用していきます。
①GitCloneしてプロジェクトで開きます。
今回はUnity2021.3.21f1で開きます。
②プラットフォームをiOSに設定し、BuildSettingsからEncoderシーンが入っていることを確認しビルドします。
④iPhoneでアプリを開きRecordボタンを押します。
保存した動画はフォトアプリに格納されます。
以下のような形式となっており、これはRGB,Depth、HumanStencil(人)、Metadataが一つの動画として記録されています。
⑤保存動画をUnityプロジェクト直下に入れます。
ここからはWindows11PCを使用しています。
またTest.mp4という名前にリネームします。
⑥Unityプロジェクトを開きDecoderシーンを開き実行します。
これでスマホアプリケーションで撮影したデータを見ることができました。
この映像には上記の通り、Dephthなどの情報も含まれており、VFXなどをつけることができます。
これは別のリポジトリで提供されているため次回触っていきたいと思います。
RenderSteamingの下りでアイデアとして紹介されれていたのはこのように一つの送信映像に分割してSkyBoxなどの情報を入れ込むことで受信後に区別して処理ができるというものでした。
