本日はイベント枠です。
本ブログで先日記事にしたように筆者のHoloLens 2専用アプリYubimoziHoloLensがMicrosoft Storeでリリースされ世界中のHoloLens 2でインストールできるようになりました。
今回は改めて現時点までの開発の経緯や実装内容、アプリリリースの流れの記事をまとめます。
〇YubimoziHoloLensとは?
YubimoziHoloLensは聴覚に困難を抱える人を中心に使用されるジェスチャー言語の一種の指文字(FingerSpelling)をHoloLensを使用して覚えることができるアプリケーションです。
開発のきっかけは2月に開催されたOsakaHoloLens Hackathon &Hackwalk 2022でした。
このイベントでは10日間でチームに分かれてHoloLensのアプリを開発するというもので、10名ほどがそれぞれ作りたいテーマを決め開発に臨みました。
筆者のYubimoziHoloLensの開発経緯としては筆者自身が手話を学びたいと思っているものの、昨今のパンデミックの影響などで近くの教室が開催されないという状態だったため、これを機会にと思い開発に着手しました。
開発開始時のコンセプトは次のようなものでした。
今回は任意の文字をキーボードで入力することでその文字が指文字としてアニメーション再生されることを想定していました。
この際にMRTKではデフォルトで日本語のかなキーボードは提供されていないため自作することにしました。
これはMRTKで提供されている[PressableButtonHoloLens2]を改造しています。
〇アニメーション
アニメーションはMRTKで提供されているHandcoachオブジェクトを使用しUnityのアニメーション作成支援ツールUMotion Proを使用して一つ一つ手付けを行いました。
アニメーションコントローラーは一つでtriggerを文字の数用意してスクリプトで呼び出すことでアニメーションを行っています。
〇Azureの音声入力機能
今回は文字での入力のほかにAzure SpeechToTextを使用した音声入力を実装しました。
これはMicrosoft Azureのサービスで、デバイスで録音した音声データをAzure上のサーバーで処理することでテキストに起こすという機能です。
YubimoziHoloLensでは、英語、日本語の両方に対応できるようにするためにアプリ内で言語変換を行うことができるようにしました。
〇OsakaHoloLensHackathonでの受賞
今回OsakaHoloLensHackathonで社会貢献性が評価されMicrosoft 賞を受賞しました。
記念品としてHoloLensに関連したグッズをたくさんいただいています。
〇Microsoft Storeへのリリース
本プロジェクトは多くの人に使用されてこそ意義があると思っていたためMicrosoft StoreへのアプリリリースおよびGitHubでのプロジェクトの公開を行いました。
HoloLensアプリはUnityからビルドしたのちにVisualStudioを使用してパッケージの作成を行います。
作成したアプリケーションファイル(.appx)をMicrosoftStoreへ登録します。
これはMicrosoft partner Centerを使用して行います。
MicrosoftStoreでは数多くのアプリがリリースされています。この際に自分のアプリケーション名が既にほかの開発者によって使用されていないか?MicrosoftStoreで排他的に使用できるのかを確認し、アプリ名の予約を行います。
次にアプリケーションの公開設定を行います。ここでは価格の設定、公開する地域、プライバシーポリシーの設定を行います。
ここで設定した項目がMicrosoft Storeでの公開された際のページに表示される情報になります。
〇今後の計画
現状のYubimoziHoloLensは必要最低限の機能を詰め込んだコンセプトワークに近いものとなっています。
今後アップデートでより分かりやすく学べて役に立てるようにアニメーションの改善、そして2Dでの指文字の表示を実装し、最終的に手話学習の機能とPhotonなどを使用した複数人での体験の共有を行っていきたいと思っています。