夜風のMixedReality

xRと出会って変わった人生と出会った技術を書き残すためのGeekなHoloRangerの居場所

HoloLens Meetup Vol. 23に参加しました。 LT登壇を行いました。

本日はイベント枠です。

〇HoloLens Meetupとは?

HoloMagiciansの主催するイベントでHoloLensにかかわる事例や活動、作ったものなどを紹介するイベントでTokyo HoloLens Meetupは今回でVol.23になります。

hololens.connpass.com

Kumamoto、Osaka、Hokkaidoなど全国各地で開催されています。

〇最新医療分野の出のxR活用事例&脳神経外科手術に利用できるMixedReality術中ナビゲージョン機器の開発 谷口直嗣さん 飯塚一樹さん

谷口さんはHoloEyesという会社で医療×xRに取り組んでおられ今回はその事例が紹介されました。

holoeyes.jp

3年前よりHoloEyes社とMixedRealityに取り組んで

・開頭クリッピング

動脈瘤の位置などをHoloLensを使用することで患者の頭にホログラムを合わせ動脈瘤の位置、開頭範囲、 顕微鏡で進んでいくときの道しるべなどをナビゲーションする支援アプリ

てんかん手術

 見えないものを見えるかするという手法で神経の繊維など実際見ることができないものを手術の現場

などに取り組んでいるようです。

 CTやMRIの情報を基に3Dモデルを作成し、HoloEyesのアプリを用いてSTLデータからMRデータに変換してMRデバイスで表示しているとのことで現代医療では3Dモデルを扱うことが増えているためそのデータをそのまま流用できるという点で相性が良いようです。

今回3Dプリンターでデバイスを出力する際に高性能3DスキャナーことCTスキャンを使用したとのことで、3Dプリントの際のモデリングは非常に難しいのでとても驚きました。

HoloLensだけでなくMagicLeapによるアプローチも行われ、その取り組みも発表されました。

〇課題

次のステージに向けての課題として

・正確性の検証(裏付け)

・動画をデバイスからエクスポートした際のずれの解消

が挙げられるようです。

医療×XRは先端技術同士のコンビなので非常に革新的な事例が生まれています。 今後手術でMRデバイスを用いないほうが少ないという時代が来るかもしれません。

Unreal + MRTKまだ使っていない? ならとりあえずやってみようハンズオン 宮浦さん

Unreal + MRTKまだ使っていない?ならとりあえずやってみようハンズオン資料(Tokyo HoloLens ミートアップ Vol.23) - Qiita

Unrealエンジンでは今年に入ってHoloLens開発が可能になりました。

今回のHoloLens MeetupではUnreal Engineでの開発を実際にみんなでやっていくという発表で、Unreal Engine + MRTK UX Tools for Unrealを完全理解するという目的でオンラインハンズオンが始まりました。

Unreal EngineはUnityと並ぶ二大ゲームエンジンです。 筆者も環境導入は終わっているもののあまり触る機会がないのでこれを機会にUnreal Engineでの開発も始めてみます。

ただしUnreal Engineでの開発はプラグイン等β版のようでUnity以上にerrorなどトラブルが多いようです。

〇LT登壇 

 毎回LTは5~10名ほど参加者がいますが今回は筆者一人だけのLTでした。

〇勝手にブルームするなよに対処する話

今回は勝手にブルームするなよに対処する話を発表しました。

〇勝手にブルームするなよとは?

[勝手にブルームするなよ]とは、熊本を中心に活躍されるガチ本さんが出会った現象を元に名付けられた言葉で、初代HoloLensのアプリ終了ジェスチャーであるbloomをデモ中にゲストがしてしまい体験が一時停止してしまうということを元に名付けられた現象です。

詳しくはガチ本さんのQiitaを参考にして下さい

qiita.com

勝手にブルームするなよ現象が起こるとデモが中断してしまうためゲスト、アテンド双方にとって良いことではないです。

〇HoloLens 2での勝手にブルームするなよ現象

HoloLens 2ではbloomというジェスチャーは使用されなくなりました。

代わりに手首に表示されるホームボタンをタップする「しっぺ」と(HoloRangerの中で)呼ばれる動作を行います。

f:id:Holomoto-Sumire:20201114210953j:plain

HandMenuと呼ばれるUIを使用する際に誤ってホームボタンを押してしまう方が非常に多くどうにかできないかと考えていました。

〇腕輪型UI

f:id:Holomoto-Sumire:20201114211430j:plain

 HandMenuのメリットを生かしたままホームボタンとHandMenuを同時に表示させないようなUIを作る目的で腕輪型UIを作成しました。

 f:id:Holomoto-Sumire:20201109090101j:plain

redhologerbera.hatenablog.com

redhologerbera.hatenablog.com

redhologerbera.hatenablog.com

今回登壇した内容は以上になります!