本日はHoloLens 2のアプリ紹介です。
〇どんなアプリ
SurfacesはMixedRealityToolkitを用いた実践的なプロジェクトであるMixedRealityDeginLabのアプリです。
音とアニメーションを用いたHandTrackingでのユーザーのフィードバックを体感することができるアプリです。
HoloLens 2ではHandTrackingによってユーザーの手を認識して、『押す』『触れる』『つかむ』『投げる』『弾く』といった動作が行えますが、ユーザーは実際に何かに触れているわけではないため、本来得られるはずの触覚のフィードバックを得ることはできません。
HoloLens 1st時代のHandTrackingが存在しないときからも触覚フィードバックは課題の一つとしてとらえられており、日本の南国ソフトでは『触覚複合現実ほろふれる』というデバイスが開発されています。
https://japanese.engadget.com/2018/04/10/mr/
Surfaceでは9つのHandTrackingによる体験を行えます。
アプリを起動して手のひらを自分自身に向けることによってHand_Menu
〇Lightning
電撃という名前の通り、機械的なボールからびりびりと電撃が走っています。
指先には金属のパーツが表示されます。ユーザーが手を近づけると指先に対して電気が伸びます。
びりびりという音でかなりリアルな体験ができます。
〇Flock
隕石の惑星に多数の小さな住人がいます。
ユーザーの指先には両手合わせて10つの隕石が表示され惑星に隕石を落とすことができます。
住人は逃げまどうという神視点の体験ができます。
〇Cubes
氷のようなm数のCubeが集まってボールになっています。
ユーザーの手にはクリスタルのような結晶が現れます。この手でCubeを触ることでキンキンという甲高い音を立てながらCubeがはじけます。
優しく触ることもできますが、デコピンで吹き飛ばす飛ばすこともできます。
〇Goop
何とも言えない気持ち悪さを感じる球体が現れます。
ユーザーの手で触れるとぐちゃぐちゃと気持ちの悪い音を立て、ユーザーの手にねばついた何かがへばりつきます。
とても気持ち悪い体験です。
〇Cloud
Goopとは対照的にとても神秘的な体験を行えます。
指先にはカラフルなマーカーが付き、移動時に残光が残ります。
球体は無数のほわほわした物体で構成されており、手で触れることでCubeのようにはじけながら音を立て色が変化します。
〇Bubble
その名の通りバブルです(しゃぼん)。手で触れるとバブルがはじけるような音とともにシャボンが揺れ動きます。
〇Lava
溶岩でできた惑星のような球体です。 手で触れることで焼けるような音が響き、手を抜いてもしばらく指先が赤く、煙が上ることで熱さを感じます。
〇Growth
右手と左手で別々のアクションを行えるデモです。
落ち葉の球体に右手で触れることで落ち葉が凍り付きます。 逆に左手で触れることで氷が解け花が咲き、鳥のさえずりが響きます。
〇Xylophone
無数のベルで作られたボールです。手で触れることで対応する音が鳴り響きます。
SurfacesはGitHubでプロジェクトが公開されています。
初めてHoloLens 2を触るユーザーにとってとても良いでもとなるとともに開発者にとってはこれらの感じ方などのフィードバックをアプリ内で引き出せる仕組みを学ぶ上でとても良いアプリです。