本日は改めてHoloLensやMixedRealityに関してまとめていきます。
近年メタバースなどが話題になる中改めて自分自身の中でも言葉や適宜を自分の言葉でまとめていきます。
〇HoloLensとは?
Microsoft HoloLensはMicrosoft社によって開発、発売されているMixedRealtyデバイスです。
特徴としてWindowsOSを搭載しており、PCで行える作業の多くはHoloLensでも使用することができます。(なおHoloLensで使用できるアプリに関してはMicrosoft Storeで提供されているもののみになります。)
HoloLensはまさに頭にかぶるタイプのPCなのです。
2022年1月現在、2016年に登場したMicosoft HoloLens 、2019年末に登場したMicrosoft HoloLens 2の二つのデバイスに加え、工業作業に特化したHoloLens 2をヘルメットと一体化した[Trimble XR10]というデバイスが存在します。
〇Microsoft HoloLens
Microsoft HoloLensは2016年に登場したMicrosoft初のMixedRealityデバイスです。
後継機の登場によりここでは初代もしくはHoloLens1stと記載します。 初代は開発者向けに提供されましたが、先行的にビジネスにも使用され後継機であるHoloLens 2が登場する大きな基盤を築き上げました。
日本国内ではコミュニティ活動が世界的にも注目されるほど盛んで、現在まで続くHoloLens Meetupなどのコミュニティイベントの開催、ビジネス面ではホロラボなどのMixedRealityを中心とした会社の登場と大きく影響を残しました。
また事例としてはナンジャタウンのアトラクションとして一般の方(ToC)向けのコンテンツが行われることやマイクロソフトと東宝によってゴジラナイトと呼ばれるゴジラのコンテンツが行われたりしました。いずれの事例も期間限定ですが、多くの予約があったようです。
HoloLensはkinect(後述)と同様のセンサーが内蔵されており、デバイス内部にユーザーの物理空間を再現し、それらをデジタルな情報と合わせることで現実世界とデジタル情報が入れ混じる体験を行うことができました。
内部の構造や分解に関してはいくつかの動画が挙げられています。
HoloLens1stはこれまでにない画期的なデバイスである反面、まだまだ課題も多く抱えていました。
主にコミュニティなどでは次のような課題があげられていました。
・視野角が狭い(ホログラムが見える範囲が狭い)
・長時間デバイスを装着していると痛みを感じる。
・操作性に難がある。
2018年後半には在庫切れによりMicrosoft Storeからの提供が止まり、HoloLens 2の登場とともに最前線を譲ることとなりましたが、今なおMixedRealityToolkitなどで開発がサポートされており、多くの場で使用されています。
操作性に関してはリリース初期はHoloLens 2でも採用されているAirTapのみが使用できました。
しかし、HoloLens 2のように指先含めて手全体をHandTrackingを行っているわけではなく、あくまでジェスチャー検知と手の位置の検知であったため頭を動かしてカーソルを合わせる必要がありました。
余談ですがMicrosoft HoloLens の生みの親であるMicrosoft社のテクニカルフェローAlex Kipman氏はTEDで視野角の狭さに関しての質問において以下のように発言しています。
『私は(視野角の狭さに関する質問を)意図的に避けてきた。ホログラムを見せるときに「そのテレビは何型?」と聞くようなものであるかでである。HoloLensは視野角など関係がなく放射輝度を問うべきである。』
筆者は2019年夏に直接Alex Kipmanさんと会ったことがありますが、建物のロビーで届いたばかりの段ボールをその場であけ、中からゲーム機を取り出して周りの技術者に見せ合ってとゲームが好きな一面を見て、なおかつ未来の技術に対する好奇心を持った熱い人という印象を受けました。
〇Microsoft HoloLens 2
HoloLens2は2019年2月24日に発表されました。
Microsoft Storeでは2020年7月2日よりすべてのユーザーに提供が開始されました。
初代に比べ全体的に改良、発展が行われ大きく注目を集めました。
初代に比べての大きな改良点は以下のようになります。
・HandTrackingの導入により、ユーザー自身の手を使用したハンドジェスチャーが可能になった。
・レンズ内部にユーザーの目をとらえるカメラの導入によりEyeTracking(目線操作)及び瞳孔認証でログインが可能になった。
・視野角が初代の2倍に大きくなった。
・デバイスの構造の変更により、初代に比べ装着感が上がった。
HoloLens1stは開発者向けのデバイスという側面が大きかったですが、HoloLens 2はビジネスの現場での利用が最初から想定されて提供されました。
Dynamics 365はHoloLens 2の特徴を最大限利用して遠隔での業務サポートとして使用されDX(デジタルトランスフォーメーション)の世間的な流れと同時期に世界的な猛威を振るった新型コロナウィルス感染症によるリモートワークの推進の流れによって大きな注目を浴びました。
〇Kinectとは?
KinectはMicrosoft社が自社のゲームであるXboxように開発したモーショントラッキングデバイスです。
筆者個人の感想ですが、次のCMがKinectの潜在性能を伝えるのに一番わかりやすいと感じました。
Kinectでは人の動きをトラッキングすることで、コントローラーなど物理入力デバイスを用いずにコンピュータを操作できました。
これは医療や製造業にも用いられるようになり、もともとゲーム用途であったKinectは多くのコアなユーザーを集め広がりました。
HoloLens 1stには第三世代Kinect相当のセンサーが用いられているといわれています。HoloLens 2では第四世代のKinect相当のセンサーが用いられています。
HoloLens 2の場合AzureKinectと呼ばれるセンサー部分のみの純粋なKinectも同時発表、発売されています。
〇MixedRealityとは?
Microsoft HoloLensではMixedReality(MR)と呼ばれる技術を実現するデバイスとして知られています。
MxiedRealityとは直訳するとわかりやすいのですが「混ぜられた現実感」という意味です。厳密には学術や人によって解釈が異なる比較的新語であるためここでは私の理解をもとにこういうものだという程度のレベルで紹介します。
これは私たちユーザーの物理世界(現実環境)とHoloLensによって作られるデジタル世界(3Dモデルなどのデジタルな情報)が自然に合わさることを意味します。
スマートフォンやPCなどでは現実環境とデジタル世界が画面で完全に分離されています。
つまり自宅で作業していても、屋外で作業していてもデジタル世界の情報は変わりません。
HoloLensのMixedRealityの場合ユーザーの物理世界によってデジタル世界の情報が変化します。
例えば、次の動画の場合キャラクターが現実世界の影響を受け、現実世界の木の後ろに隠れたりすることができます。
これはHoloLens のほかのWindowsPCと違う特別な機能の一つある[SpatialAwareness(空間認識)]を使用して周囲の地面や木など物理的なオブジェクトを検出して、コンピュータ上で現実の世界と合うようにメッシュを作っています。
このように現実の情報とデジタルの情報が融合する(Mixed)世界がMixedRealityです。
HoloLensではそのほかにも壁に穴をあける、床に物を落とすなど現実世界に合わせてデジタル情報を扱うことができます。
ではVRやARとの違いはどうなるのかというところですが、あくまでVRもARも情報の割合の差で変わる表現になります。
MRの現実の情報とデジタルの情報を現実の情報の割合を増やし、ほとんど現実世界の中に一つだけキャラクターなどデジタルの情報を出します。
これはARとほぼ同義の表現になります。
逆に現実世界の情報を大きく減らし空も大地もデジタルな情報で表現したとします。
これはVRとほぼ同義の表現になります。
つまりARもVRもMRもデジタル情報と現実の情報の割合で体験が決まります。
このように現実情報とデジタル情報を混ぜ合わせて新しい体験を生み出す類似技術群をxRと呼びます。
正しい呼び方はエックスアールですが、筆者は様々な情報や分野がまじりあうという意味でクロスリアリティという呼び方が好きです。
このxRにはDR、SRなど特殊な現実感技術もすべてまとめて呼びます。
〇HoloLens の現在
HoloLens 2は2019年2月に発表され、2019年末より展開されていきました。
HoloLens 1stからHoloLens 2に移り変わる中格段にその性能やできる表現、事例は増え業界は大きくなっていますがまだ価格やスマートフォンに比べ一般向けのコンテンツの未充実などビジネス用途・研究開発用途としての側面が大きいです。
MicrosoftではMixedRealityの取り組みとしてHoloLensのデバイスだけではなくクラウドサービス(Azure)を使ってスマートフォンやPCとつながったMixedRealityの取り組みも行っているようです。
また世間的にはメタバース(現実と同じようなデジタル世界)の動きが進んでおり、2021年HoloLens向けのサービスとして[Microsoft Mesh]が発表されました。 docs.microsoft.com
Meshでは現時点でHoloLens 2同士でアバターを通して会話、資料の共有などができますが、構想を見るとPC、スマートフォン、他のVRとの接続も上がっており、これらを主軸として一気に今まで以上の人が使用することになるのではないかと感じています。
Microsoftでは2021年コンシュマー(一般消費者)向けのHoloLensの展開も視野に入れていることを発表しています。
テレビからスマートフォン、そしてxRメガネと人々の持ち歩くデバイスは必ず変化していきますが、そのうえでいくつかの課題もあります。
・バッテリー時間
・デバイスの重量
・コンテンツ量
・使用可能環境
・コスト
これらの壁を乗り越えることがBToB(ビジネス用途)からToC(一般消費者用途)へと移り変わる壁と呼ばれています。
〇メタバースとHoloLens
近年『メタバース』という言葉が多く広まっています。
これはデジタル環境上に構築された無数の仮想環境やそのサービスを指す言葉で、言葉自体はもっと以前よりありましたが、Oculus Quest等を提供するFacebook社が21年にMetaと名を変えた時期より盛んにメディアを中心に取り上げられるようになりました。
Facebook社はこのメタバースに注力するために社名を変更しました。
メタバースはデジタル環境上で構築される環境ということでxRが注目されています。
Micosoftの場合HoloLensを中心としたMicrosft Meshというメタバース環境が整備されつつあります。
Microsoft Meshはメタバース環境でアバターを通して交流することができます。
翻訳機能も、自分の母国語のみを選択することで同じ環境に複数の言語を話す人がいてもすべて自分の母国語で翻訳され、スムーズなコミュニケーションをとることができます。
Microsoft Meshでは現在はHoloLensのみが対応していますが、VR、スマートフォン、PCとその他のデジタル機器でも接続が行えるMicrosoft Mesh SDKの提供が発表されています。
これによってあらゆる場所から人と人がつながり、交流できる環境が整うのではと期待されています。
今回は改めてHoloLensとはという記事をまとめました。 一年後HoloLensを含むxR業界はまた違う価値や評価がされていると思います。
xRエンジニアとしてこの過渡期にアプリを開発することができて幸せに感じています。