本日はAI枠です。
〇LumaAIとは？
LumaAIは今年の秋前にベータ版がTestflightによってリリースされたiPhone向けのアプリケーションです。
特徴としてNeRFを用いて従来と違った手法で写真から３Dモデルを構築します。
従来のフォトグラメトリと同じように見えてNeRFを用いていることではるかに少ないデータ量で３Dモデルを構築できるほか透明度を持った物体や金属光沢をもった反射の強い物体であってもスキャンすることができます。
〇NeRFとは？
NeRF(NeuralRadialField=ニューラル輝度フィールド)は近年登場した新しいアルゴリズムのAIで、画像からピクセルごとの位置情報(xyz)に加え角度(Θφ)による５次元ベクトルを解析して輝度場を求めることでその空間に物体があるかどうかという検知を行う技術です。
NVIDIAがinstant-NeRFをリリースしたことで非常に注目され有名になった技術です。
〇フレンチホルンのキャプチャ
筆者のフレンチホルンはフォトグラメトリでは苦手としている全身メッキなオブジェクトです。
またすべての面が曲面で構成されており、管も複雑な形状をしており、非常に３Dモデルで再現するには難しい形状をしています。
そのうえメーカーによる違いや傷なども含めたら一品ものでもあるので、３Dに落とし込むためにはキャプチャする方法が有効です。
今回はNeRFを使用したLumaAIを使用してキャプチャを行いました。
実際の完成動画が次のようになります。
多少表面に粗があるとはいえ問題ないレベルで撮影できていることがわかります。
ポリゴン数は10万でBlenderで表示すると次のようになります。
音が出るベルの部分などは破断が目立ってしまいますが、手動で修正可能な範囲に思えます。
本日は以上です。
NeRFを使用することで従来よりもより多くの物体を形状をより正確にとらえられるようになれると思います。
