本日はHoloLensの表現調査枠です。
HoloLens 2ではSpatialSounds(空間音響)の機能によってオブジェクトの位置を音源で推定することができます。
この機能はユーザーを誘導するうえで非常に重要な要素の一つですが、今回は誘導とは違う側面で使用しました。
〇作ったもの
アルト、ソプラノ、テナー、バスそれぞれ４つのパートを４人のデジタルなキャラクターが歌ってくれます。
近づくことでそのキャラクターがどのパートを歌っているかがよくわかる仕組みになっています。
〇経緯
本日は映像関係を作っている方に初めてお会いしてHoloLensのデモを行う予定でした。
HoloLens 2ではHoloLens1stに比べアプリが充実しているとはいえず、HoloLens 2の魅力を伝えるためには一部リリースされているアプリだけでは難しいこともあり、自分でアプリを作る機会も多くなります。
そこで今回は音響のデモとしてアカペラキャラクターによるデモアプリを開発しました。
といってもUntiyでの開発時間は１時間ほどです。 こちらは後日まとめます。
〇AIきりたん
[AIきりたん]は研究用にフリーで使用できるツールで、MusicXMLファイルから歌っている音源を書き出してくれます。
今回は『小さきもの（劇場版ポケットモンスターアドバンスドジェネレーション 七余の願い星ジラーチ主題歌）』をアカペラにしてそれぞれの音源を書き出しそれぞれの音源ごとにSpatialSoundsの設定を行うことでアカペラを実現しています。
アイデアベースのアプリですが、LipSync（口パク）などを設定することでより自然な表現になると感じます。
