夜風のMixedReality

xRと出会って変わった人生と出会った技術を書き残すためのGeekなHoloRangerの居場所

Osaka HoloLens Hackathon 2022 最終日 YubimoziHoloLensの完成

本日はイベント枠です。

〇Osaka HoloLens Hackathon

22年2月11日より Osaka HoloLens Hackathon & Hackwalk 2022が開催されました。

11日から本日20日までの一週間でHoloLensのアプリを開発するイベントになります。

筆者も技術スタッフ兼参加者として参加していました。

本日は最終日で成果物発表と表象が行われました。

〇Yubiozi HoloLens

指文字とはその名の通り指を使ったジェスチャーによる非音声言語です。

手話に近いですが、手話が一つの動作で一つの単語(おはよう etc.)を意味するのに対し指文字は一つの動作で一つの文字を表します(お、は、よ、う、etc.)。

筆者は昨年もこのハッカソンに参加しており、昨年は片手で操作できるUIを作成しました。

redhologerbera.hatenablog.com

 この際にとても良い評価をいただきましたが、筆者としてはコンポーネントであったため今年は『社会課題を解消しゆる体験をでき、体験したくなるHoloLensアプリ』を目指しました。

 その中でテーマとしたものが言語でしたが、その中でもHoloLensと相性が良く、筆者自身が一番興味がある分野として手話を考えました。

 手話は前述のとおり、単語として成り立っているため非常にボキャブラリが多いと感じ限られたHackathonの時間内で開発できるものとして指文字を考えました。

 

〇成果物

今回は次のようなものを開発しました。

www.youtube.com

〇技術的内容

 筆者のオリジナルとしてオリジナルのキーボードを開発しました。  

redhologerbera.hatenablog.com

 これは通常のキーボードの場合アルファベット(a,ka,sa,ta)を入力しますが、日本語の「かな」のみにアプリの体験を絞ることでUXを維持しつつ開発コストを下げたためです。

 またインプットの別の手段としてAzure Speech To Textを用いた音声入力を実装しています。

 これによりキーボード入力だけではなく声での入力も可能にしています。

〇Microsoft賞 

 今回の作品がMicrosoft賞を受賞しました。

 社会貢献性とHoloLensの特性をとらえている点で高く評価をされました。

f:id:Holomoto-Sumire:20220220201940p:plain

〇今後の展望

 今回はあ~んまでのみ対応しています。 ゃ、っ、が、ぱなどの文字には対応していません。

 また指文字には数字やアルファベットも存在します。

 今後はこれらも実装し完璧な形のアプリにすることや複数人での体験の共有を目指していきます。

〇アプリケーションの公開

今回作成したアプリケーションは以下のリンクで公開しています。

1drv.ms