夜風のMixedReality

xRと出会って変わった人生と出会った技術を書き残すためのGeekなHoloRangerの居場所

HoloLens にキーボードとマウスを接続して使用する

その他 HoloLensのいろは

本日は久々のHoloLens枠です。

今年に入ってずっとモデリング枠だったので久々にHoloLensに関する記事を書きます。

先日Appleより新型デバイスであるApple Vision Proが登場しました。

　Apple Vision ProはSpatial Computing(空間コンピュータ)として登場しており、HoloLensのように単独で空間を利用した体験が可能です。

　もとから注目されていたこともあり、世界的に話題となっていますが、あくまで以前よりHoloLensを触っている筆者の一意見ですが、「未来が来た！」「世界初」などあたかもApple Vision Proが世界初のデバイスのような一部報道を見かけ「ん？」となっている今日この頃なのでHoloLensで普段使いしていて逆に当たり前になって記事化していなかったネタとしてHoloLensにキーボードとマウスを接続してPCとして利用する方法や体験を記事にします。

〇HoloLensとは？

本ブログを読んでいただいている方の多くはエンジニアの方もしくは興味がある方だと思うので今更ではあるのですがMicrosoft HoloLensはMicrosoft社が開発、展開しているMRヘッドセットです。

　MR＝複合現実感はSpatialComputingの技法の一種で現実空間の物理情報とデジタル情報による3DCGの情報をミックスさせることであたかもその場所にデジタルデータが存在しているかのように感じることができる体験を行うことができます。

　HoloLensの特徴として専用のWindowsOSを搭載しており、自作/Microsoftストア以外でアプリケーションを導入できないなど一部制約はありますが通常のWindowsPCとある程度の互換性をもっています。

〇環境

・Microsoft HoloLens 2

・Magic Keyboard

・Elecom製のマウス

・AirPods Pro(第二世代)

〇結果

こちらの動画のように通常のPCのようにマウス操作、画面操作を行うことができます。

他社からは自分が見ている画面を覗き見ることはほぼ不可能のため、プライバシーにかかわるような作業に向いているといえます。

Microsoft Edgeを複数起動しCopilotを使用しながらブログを書く筆者

HoloLensのバイザーを正面からのぞき込むことでHoloLens着用者の作業内容の一部が見えてしまうことはありますが、距離・角度がマッチしている状態で初めてごく一部が見える状態のため事実上はたからみてどのような作業をしているかを判別するのは困難です。

また、複数ディスプレイを表示、操作もできるためデバイスをかけている負荷を考慮しなければ通常のPC以上に作業がしやすいといえます。

　なお、HoloLensの場合Windows10S同様にUWPアプリケーションのみが実行可能です。

　これはサードパーティー性のアプリに関してはMicrosoft Storeを経由する必要があり、通常のWindowsデバイスに対してやや利便性が悪いところがあります。

　リモートデスクトップに関しても同様で、GoogleChromeが入手できればGoogleのリモートデスクトップを使用して自身のGoogleアカウントを使用しているデバイスでリモートデスクトップによる作業により事実上ハードウェアのスペックを超えた作業はできますが、現状VPNを利用しつつMicrosoftのRDを利用する以外の方法を発見できていません。（そのうえHoloLensでVPNを利用する点でハードルを抱えている現状です。←筆者が）

〇操作方法

・マウス

　視野角内にポインターが表示されます。

　HandRay（手からのビーム）などと同様にSpatialMesh（現実の物体）上にポインターがとどまるような挙動を示しますが、

　なれないと使いにくい点としてHandTrackingによるAriTapなどの入力を検知してしまった場合ポインター位置が手を基準としたHandRayの位置に強制的に移動してしまうことがあります。

　この挙動としてはWindowsPCにマウスを複数台接続、あるいはマウス操作中にノートパソコンのタッチパッドを触ってしまった挙動に非常に近いです。

　基本的にマウスが動いている状態ではマウスの挙動が優先されますが、HandTrackingがマウスより優先されます。

　以前よりXboxコントローラーが使用できるということは知っていましたが、より身近で使用できました。

　また、以前は選択中のウィンドウのみのポインター移動だけだったと思っていましたが、空間的なポインターの移動も可能となりました。

　XBoxのコントローラー以上の挙動が期待できました。

・キーボード

今回はMagicKeyboardを使用しています。

　Appleが自社製品であるMac用に開発、販売しているデバイスになりますが、Windowsでも使用はできます。

　筆者の場合英字キーボードを使用しており、通常Shiftキー+Caps lockキーで日本語、アルファベットの入力を切り替えます。

　HoloLensの場合も日本語キーボードをデフォルトのキーボードに設定している場合は問題なく切り替えることができますが、英語キーボードやギリシア語キーボードなど複数のキーボードを使用している場合はキーボード切り替えができない点に注意が必要です。

　通常のWindows PCであればWindowsキー＋スペースキーでキーボードを切り替えることができますが、筆者の環境で試した限りでは切り替えできませんでした。

　加えて漢字の変換はスペースキーで行えますが、２回まで変換可能で、それ以降の変換ができない挙動がありました。

　IEMの挙動なのか、このあたりの挙動が特殊なのかもしれません。

　 HoloLensでマウスとキーボードを接続することでHoloLensを使用してより通常のWindows機体に近い操作ができました。

本日は以上です。