夜風のMixedReality

xRと出会って変わった人生と出会った技術を書き残すためのGeekなHoloRangerの居場所

ロービジョンとMixedReality まとめ ~KumamotoHoloLensMeetupで登壇してきました 前半~

 先日オンライン上行われた[Kumamoto HoloLens ミートアップ vol.6(オンライン開催) ]というイベントで登壇をしてきました。

 今回はまとめ記事です

Kumamoto HoloLens ミートアップとは?

   熊本を中心に活動するグループ、KumaMCNのHoloLensに関する知見やわくわくを共有したり、「HoloLensってこんなにすげぇんだぜ!」ということを感じることができるイベントです。

 HoloLens 2がリリースされた年明けから毎月のペースで行われているイベントで、今回Vol.6とはついていますが、HoloLens 1st時代にもVol.0、Vol.0.1があったとか

 今回COVID-19の影響によりオンライン上での開催になりました。

youtu.be

〇ロービジョン×MixedReality

 今回私は[ロービジョン×MixedReality]というテーマで登壇をしてきました。

 きっかけはロービジョンの友人だったのですが、今回2名の方に協力していただき実際の駅でHoloLensをかけて音を頼りに歩いてもらう実験を行いました。

〇ロービジョンとは?

 ロービジョンとは『眼鏡やコンタクトレンズでは矯正できない視力低下によって日常生活に困難を抱える人、状態』という定義です。

 HoloLensに限ったことではなく、彼ら自身の日常生活を助けることができる多くの技術があります。

 例えばスマートフォンです。ハンディキャップの有無にかかわらず使用できる多くのアプリケーションがリリースされています。きっかけとなった私の友人は[SeeingAI]というアプリケーションを使用しているといっていました。

●SeeingAI

 [SeeingAI]はスマートフォン向けのアプリケーションで、スマートフォンのカメラを向けることで[][光の強さ][シチュエーション][]といった周囲の様々な状況を音として読み上げてくれます。

 ここ一年で日本語に対応しましたが、対応以前も使用している日本ユーザーは多かったようです。

www.microsoft.com

〇HoloLensを用いた実験

f:id:Holomoto-Sumire:20200413105324j:plain

 HoloLensでは様々な機能を用いることができますが、今回はそのうちの二つ、[SpatialAwareness]と[SpatialSound]に重点を置いたナビゲーションを行いました。

●Spatial Awareness(空間認識)

 Spatial Awareness(空間認識)は、HoloLensで周囲の壁や床、障害物といった物理情報を認識する機能です。

 アプリケーション側ではこの情報を用いて[SpatialMesh]と呼ばれるメッシュを貼ることでHoloLens内部に仮想の空間を構築し、現実空間と重なるようにすることでユーザーはホログラムを床に配置したり、壁に穴をあけるといった現実とホログラムの対話、MixedRealityを実現しています。

●SpatialSound(空間音響)

 SpatialSound(空間音響)はホログラムの位置をユーザーに伝える機能を持った音です。

 人間は左右二つの耳で音を聞き、その左右差によってどこから音が聞こえてくるのかを知覚しています。

 HoloLensでは左右合計6基(3基×2)のスピーカーの音の変化によってユーザーに音源を知覚させることができます。

●アプリケーション

 今回作成したアプリケーションはいたってシンプルです。

 ①UnityのPrimitive3DSphere(Unityで用意されている球)を5つ並べ、それぞれ見分けがつくように色を付けました。

f:id:Holomoto-Sumire:20200413105644j:plain

 ②5つそれぞれに別々の音源を付けました。

 ③MRTKで用意されている[ManipulatinHandler]をアタッチしました。これによってAirTapでボールの位置を移動できるようにしました。

 ④SpatialSoundを使用するためSphereの[AudioSource]の[SpatialBlend]を[3D]に設定しました。

 これによってSphereを自由にジェスチャーで移動させ、配置し、その場所から音が聞こえてくるシンプルなアプリが完成しました。

●実験

 2020年2月7日の午前中、北千住駅の改札付近で行いました。

 まず、私がHoloLensをかぶりSpatialMeshに合わせ5つの音源を現実の壁や障害物に合わせ配置しました。

 そのままHoloLensを2名のロービジョンの協力者にかけてもらい、音を頼りに歩いてもらいました。

 今回は実験に関してです。

 明日後半として結果と考察をまとめます。