夜風のMixedReality

xRと出会って変わった人生と出会った技術を書き残すためのGeekなHoloRangerの居場所

Record3Dを試す iPhoneのLiDERアプリ 

本日はiPhoneアプリを試します。

〇LiDERについて

LiDER(Light Detection and Ranging)は上位機種のiPhoneなど一部のスマートフォンに搭載されているセンサーです。

レーザー光を物質に投射しその反射光が戻ってくる時間を測定、光の周波数の計算によってDepth(奥行)を計算することができます。

これによって3Dスキャンの性能が飛躍的に向上しました。

今回はコミュニティで仲良くさせていただいている日本のLiDERのトップランナーであるiwamaさんがSNSで「あなたの使っているスマホ機種とやりたいことリプしたらおすすめのアプリ紹介する」と投稿されていたので筆者にLiDERのおすすめのアプリ聞いてみたところ紹介いただいたRecord3Dを試していきます。

〇Record3Dとは?

record3d.app

"Record3D"はLiDERを使用して静止画ではなくボリュメトリックビデオとして記録することができるサービスです。

アプリケーション自体は無料で入手できます。

ストリーミングなどの機能は無制限で使用できますが、無料の状態では3回までレコードが行えます。

特徴として、音源を含めたボリュメトリックデータとしてPLYファイルのシーケンスまたはglTFのアニメーション出力ができます。

またUSBケーブルの接続やネットワークを使用して外部のPCに点群データを送信して開発者が利用することができます。

最大の特徴としてPython及びC++のライブラリが提供されており、これを使用することでストリーミングしたデータを独自のアプリケーションでカスタマイズすることができます。

GitHub - marek-simonik/record3d: Accompanying library for the Record3D iOS app (https://record3d.app/). Allows you to receive RGBD stream from iOS devices with TrueDepth camera(s).

これは従来Azure Kinectなどの専門的なDepthセンサーで実現されていたようなものになります。

スキャン自体は珍しく、スキャン中は白黒のセンサー情報のみになります。

Inカメラ(Faceカメラ)と外カメラ(LiDER)が使用できます。

録画はDepthの距離を弄ることで背景をクリッピングできます。

録画されたデータはLibraryに保存されます。

撮影日のデータを選択することでデータが再生されます。

データは音声付の3Dデータとして表示されます。

これはARとして出力することもできます。

今回はiPhoneで動かしていきました。 3回のトライアルなのでよい被写体を見つけてみたいです。

なおUSBのストリーミングも次回試していきたいです。