本日はイベント枠です。
本日Tokyo HoloLens Meetup Vol.33が開催されました。
筆者はメインセッション、LTと2回登壇しました。
今回はLTセッションについてまとめていきます。
〇HoloLensに出来るグラフィックについて
HoloLens 2が2019年に登場して、23年現在では様々なMRデバイスが登場しています。
例えばMagicLeap2では同じ光学シースルーデバイスでありながらポストプロセッシングなどの処理負荷が高いものを使用してもFPS60をキープすることができますが、HoloLensではFPSの維持は難しいです。
ではHoloLens2というデバイスはすでに最先端のデバイスといえなくなっているのでしょうか？
というところでHoloLens2だからこそできることについてグラフィック面で調査したことと取り組みを紹介しました。
〇Holographic Remoting
Holographic RemotingはPCとHoloLensを有線もしくはWi-fiで接続してPCのリソースを使用して描画を行う手法です。
筆者は1年前にUnity MeshSyncを使用してBlenderでモデリングしているメッシュをリアルタイムにHoloLensで見ることができるプロトタイプを作成しました。
こちらの問題点としてMeshSyncがUnityEditorもしくはWindowsPCでのみ機能し、Blender→UnityEngine→HoloLensと2つサーバーを立てていました。
これによりUnityを起動しているPCの負荷が高く不安定でした。
ここから1年、2種のアプローチとして昇華させています。
1つがHolographicRemotingを使用したPCMRとしての最高グラフィックの追求
２つめがMeshSyncではなくBlenderPythonを使用して独自でMRビューを作成する
PCMRとして最高のグラフィックの追求ではUnityの高グラフィックパイプラインであるHDPRを使用したwaterレンダリングなどを実装しました。
またPCのリソースを使用することでHoloLens単体では不可能なレイトレーシングを使用したアプリケーションなども開発できます。
リアルタイムモデリングMRビューをゼロ位置で構築するモデリングのアプローチではまだ本ブログで記事化できていませんが、Pythonでサーバーを立ててメッシュデータをUDP通信でHoloLensへ送信する手法を実装しています。
こちらはまだプロトタイプですが、ゼロイチで構築することで送信データのカスタマイズなど自由にできる点がMeshSyncとの違いです。
将来的にPCだけでなくHoloLensをモデリングの補助ツールとして相互にやり取りできればと思っています。
本日は以上です。
