本日はイベント登壇記事です。
2020年7月29日にオンライン上で行われたHoloLens Meetup Vol.21でLT登壇を行いました。
〇HoloLens Meetupとは？
HoloMagiciansの主催するイベントでHoloLensにかかわる事例や活動、作ったものなどを紹介するイベントでTokyo HoloLens Meetup今回でVol.21になります。
前回は７月18日に行われました。
〇LT登壇
今回はLT登壇常連と初めてLTが入れ混じる会となりました。
筆者は３番目に登壇しました。
〇『HoloLensでデジタルなキャラクターとの付き合い方』
今回はHoloLensでのデジタルなキャラクターの表現に関して発表しました。
〇スライド
〇経緯
筆者はHoloLens 1st向けに以前VRMと呼ばれるヒューマノイドボーンアバターのキャラクターをHoloLensで自由にポージングできるアプリを開発していました。
これはUnity始めて４か月、初めてC#のスクリプト書いて２か月といった時期に開発、リリースしたものなので今からしたらかなり雑でバグもあるアプリケーションなのですが、個人的には非常にアップデートで取り組みたいこと、やりたいことが多くあるアプリだったのですが昨年の夏、自身のアバターが動画共有サイトで無断で使用され、SNS上で炎上するという事件があり、しばらくの間キャラクター系のアプローチから離れていました。
HoloLens2 の開発を始めたのでこれを期にHoloLens 2でできることを最大限使用してキャラクターをキャラクターらしく見せる表現に取り組みました。
〇EyeTrcaking × 目
EyeTrackingを用いてキャラクターと目が合うようにしました。
https://www.youtube.com/watch?v=7LCLptI35R4
MRTKには[EyeTcakingTarget]というEyeTcakingに対してリアクションを返すコンポーネントが用意されています。
この中の[On Dwel ()]というイベントでは指定した秒数視線があたり続けたらイベントが起動する仕組みがあります。
これでユーザーが2秒ほどキャラクターを見つめたらキャラクターが見返してくれるという仕組みを作りました。
言葉では説明しにくいのですが、実機での体験ではかなりリアルなキャラクターとの対話を行えます。
〇HandTracking × 顔の表情
HoloLensではリアルにデジタルなキャラクターと触れ合えます。近づくことや触ることもできますが、リアクションがなければ人形のようになってしまいます。
そこでキャラクターの前身にボーンに沿ってコライダーを配置しMRTKで提供されている[Interactable]コンポーネントを使用してHandTrackingで触ると表情が変わる仕組みを作りました。
〇VoiceInput × 表情
HoloLens 1stでreleaseしていたアプリではボタンで表情を変えていたのですが、それではロボットのような印象を受けます。
そのためCome on smileという言葉を投げかけると笑ってくれるようにしました。
このようにInputの表現が増えたHoloLens2ならではのキャラクターとの付き合い方に関してシェアをしました。
今後一つ一つ詳しく記事にしていきます。
