今回はHoloLens で音声認識を行います。
〇HoloLensでの音声認識
HoloLensではvoiceコマンドによる音声認識で操作を行うことができます。
初代HoloLensから使用できましたがHoloLens 2はMicrosoftのクラウドベースのサービスを使用して音声認識を処理しています。この機能はオフにすることもでき、その場合、もしくはネットワークなしの状態ではローカルで音声データを処理してコマンド認識するだけになります。またCortanaは利用できなくなります。
[Go to home]のコマンドはMixedRealityHome画面でホーム画面を表示させます。
[Restart device]のコマンドはHoloLens 2のデバイスを再起動させます。
[Shutdown device]のコマンドはHoloLens 2のデバイスをシャットダウンします。
[Brightness up/down]HoloLens では表示するホログラムの明るさを調整するボタンがディスプレイ上部左側面にあります。このコマンドを使用するとボタンを押すことなく音声で輝度を変えることができます。
[Volume up/down]HoloLensの音量を変えます。
[What's my IP address]このコマンドを使用すると接続しているネットワークのIPアドレスが表示されます。開発者にとっては使用頻度が高いコマンドでこれを使用してデバイスポータルなどに接続することができます。
[Take a picture]このコマンドを使用すると写真が撮られます。 HoloLensではユーザーの頭そのものがカメラなので、写真を撮りたい場合しばらくの間頭を動かさないことが必要です。コマンドを使用することで頭を動かさず、手も動かさずに写真を撮ることができます。
[Take a video]写真同様録画が始まります。 ホーム画面等を経由せずに録画できるので非常にスマートです。このコマンドは[Start Recording]のコマンドで代用できます。
[Stop recording]のコマンドは録画中に使用すると録画を停止することができます。
〇ホログラムウィンドウに対してのコマンド
次のコマンドは2Dアプリや３Dアプリランチャーがある状態でHandRayをそれらに向けて使用することで効果を持ちます。
Edgeなど２Dアプリの場合[Bigger]のコマンドを使用すると２Dウィンドウが拡大します。逆に[Smaller]と言うと2Dウィンドウが小さくなります。
["Move this]このコマンドは視線（頭の向き）に沿ってウィンドウやランチャーを移動させます。
[Face me]のコマンドを使うと２Dウィンドウがユーザーのほうを向いてくれます。
[Follow me]のコマンドでは２Dウィンドウがユーザーの移動に合わせて追随するようになります。
[Close]のコマンドは２Dウィンドウや３Dアプリのランチャーを閉じることができます。
[Stop following] [Follow me]コマンドで追随している状態を解除します。
〇Can I say コマンド
[Can I say]コマンドはその状況でどのようなコマンドが使用できるかが表示されます。
HoloLensでは上記のように非常に多くのコマンドを使用できるためコマンドを忘れたとき、困った時はCan I sayコマンドを使用するとその場にあったコマンドが表示されます。
音声コマンドは言葉を発して処理が行われるまで数秒のラグはありますが、EyeTracking同様ユーザーの最小限の動きで操作することができます。
〇ドキュメント
今回はMixedRealityHomeで使用できるコマンドを調べました。 次回は違う音声認識を調査します。
