夜風のMixedReality

xRと出会って変わった人生と出会った技術を書き残すためのGeekなHoloRangerの居場所

YubimoziHoloLensをリリースしました。 開発経緯~MicrosoftStoreでのリリースまでの流れ version 1.0 まとめ

本日はイベント枠です。

本ブログで先日記事にしたように筆者のHoloLens 2専用アプリYubimoziHoloLensがMicrosoft Storeでリリースされ世界中のHoloLens 2でインストールできるようになりました。

今回は改めて現時点までの開発の経緯や実装内容、アプリリリースの流れの記事をまとめます。

〇YubimoziHoloLensとは?

YubimoziHoloLensは聴覚に困難を抱える人を中心に使用されるジェスチャー言語の一種の指文字(FingerSpelling)をHoloLensを使用して覚えることができるアプリケーションです。

開発のきっかけは2月に開催されたOsakaHoloLens Hackathon &Hackwalk 2022でした。

このイベントでは10日間でチームに分かれてHoloLensのアプリを開発するというもので、10名ほどがそれぞれ作りたいテーマを決め開発に臨みました。

redhologerbera.hatenablog.com

筆者のYubimoziHoloLensの開発経緯としては筆者自身が手話を学びたいと思っているものの、昨今のパンデミックの影響などで近くの教室が開催されないという状態だったため、これを機会にと思い開発に着手しました。

開発開始時のコンセプトは次のようなものでした。

f:id:Holomoto-Sumire:20220411211655p:plain

今回は任意の文字をキーボードで入力することでその文字が指文字としてアニメーション再生されることを想定していました。

この際にMRTKではデフォルトで日本語のかなキーボードは提供されていないため自作することにしました。

redhologerbera.hatenablog.com

redhologerbera.hatenablog.com

これはMRTKで提供されている[PressableButtonHoloLens2]を改造しています。

〇アニメーション

アニメーションはMRTKで提供されているHandcoachオブジェクトを使用しUnityのアニメーション作成支援ツールUMotion Proを使用して一つ一つ手付けを行いました。

redhologerbera.hatenablog.com

アニメーションコントローラーは一つでtriggerを文字の数用意してスクリプトで呼び出すことでアニメーションを行っています。

f:id:Holomoto-Sumire:20220411213716p:plain

〇Azureの音声入力機能

今回は文字での入力のほかにAzure SpeechToTextを使用した音声入力を実装しました。

azure.microsoft.com

これはMicrosoft Azureのサービスで、デバイスで録音した音声データをAzure上のサーバーで処理することでテキストに起こすという機能です。

YubimoziHoloLensでは、英語、日本語の両方に対応できるようにするためにアプリ内で言語変換を行うことができるようにしました。

redhologerbera.hatenablog.com

〇OsakaHoloLensHackathonでの受賞

今回OsakaHoloLensHackathonで社会貢献性が評価されMicrosoft 賞を受賞しました。

redhologerbera.hatenablog.com

記念品としてHoloLensに関連したグッズをたくさんいただいています。

redhologerbera.hatenablog.com

redhologerbera.hatenablog.com

〇Microsoft Storeへのリリース

本プロジェクトは多くの人に使用されてこそ意義があると思っていたためMicrosoft StoreへのアプリリリースおよびGitHubでのプロジェクトの公開を行いました。

www.microsoft.com

HoloLensアプリはUnityからビルドしたのちにVisualStudioを使用してパッケージの作成を行います。

redhologerbera.hatenablog.com

作成したアプリケーションファイル(.appx)をMicrosoftStoreへ登録します。

f:id:Holomoto-Sumire:20220411215813p:plain

これはMicrosoft partner Centerを使用して行います。

redhologerbera.hatenablog.com

redhologerbera.hatenablog.com

 MicrosoftStoreでは数多くのアプリがリリースされています。この際に自分のアプリケーション名が既にほかの開発者によって使用されていないか?MicrosoftStoreで排他的に使用できるのかを確認し、アプリ名の予約を行います。

 次にアプリケーションの公開設定を行います。ここでは価格の設定、公開する地域、プライバシーポリシーの設定を行います。

f:id:Holomoto-Sumire:20220411220526p:plain

ここで設定した項目がMicrosoft Storeでの公開された際のページに表示される情報になります。

f:id:Holomoto-Sumire:20220411221121p:plain

〇今後の計画

 現状のYubimoziHoloLensは必要最低限の機能を詰め込んだコンセプトワークに近いものとなっています。

 今後アップデートでより分かりやすく学べて役に立てるようにアニメーションの改善、そして2Dでの指文字の表示を実装し、最終的に手話学習の機能とPhotonなどを使用した複数人での体験の共有を行っていきたいと思っています。