HoloLens 2では通常のPCのスクリーンショットやキャプチャ同様ユーザー視点のMixedRealityな世界を写真を撮ることや、映像を取ることができます。
これがMixedRealityCaputreと呼ばれる機能です。
今回はMixedRealityCaputreでPVカメラからのレンダリングを行う設定を実装します。
〇MixedRealityCaputereとは？
冒頭でも述べた通り、HoloLensの録画、撮影機能です。
これはスマートフォンやPC同様デバイス内の[フォト]のフォルダに保存されます。
また、Deviceportalからも取得できます。
〇MxiedRealityCaputerの問題
MixedRealityCaputerはユーザーが実際に見ている映像と画角がわずかにずれて録画されます。
これはMixedRealityCaptureを録画しているカメラがユーザーの目より上部に配置されているため、近くの距離のものは見え方に差が生まれてしまうためです。
これはHoloLens 2のHandTrackingを録画する際に非常に大きな問題になります。HandTrackingは使用ユーザーの手を取得しているため、常にデバイスの近距離で行っているためです。
このずれを解消しMixedRealityCaptureでよりユーザーの見ていた映像を再現するためにMRTK側でPVカメラからのレンダリングが提供されています。
〇PVカメラからレンダリングを行う設定
MRTKを導入しているプロジェクトでhierarchyウィンドウから[MixedRealityToolkit]コンポーネントを選択します。
Inspectorウィンドウから[Camera]→[CameraSettings]→[CameraSettings Providers]を開き[Windows MixedReality CameraSettings]の中にある[Render from PV Camera]のチェックをオンにします。
これでPVカメラからのレンダリングが有効になります。
〇実機で確認する
HandMeshがしっかりとずれることなく手に沿っていることがわかります。
