夜風のMixedReality

xRと出会って変わった人生と出会った技術を書き残すためのGeekなHoloRangerの居場所

HoloLens 2×フレンチホルンで何ができるか考えてみた。

本日はHoloLens 2実験枠です。

筆者はHoloLensやMixedRealityの開発以外に音楽の趣味を持っています。

定期的にフレンチホルンを吹いています。

f:id:Holomoto-Sumire:20200921221710j:plain

今回はHoloLens×フレンチホルンでどのようなことができるのか考えてみました。

〇HoloLens 2×フレンチホルン×HandTracking

フレンチホルンはピアノなどと異なり、口から息を注ぎロータリーと呼ばれる3つのキーを左手で操作することで音を操作します。

この時顔の前に左手が来るフォームを取るので、HoloLens 2のHandTrackingを用いて演奏者の動きを取得できないか試してみました。

今回trackingが認識されているかどうかを確認しました。

f:id:Holomoto-Sumire:20200921221548g:plain

結果は構えのフォームを取る直前の距離まできちんと左手が認識されていましたが、演奏中は全く認識できませんでした。

現状ではHoloLens 2そのものを用いて演奏者の指を認識することは難しそうです。

〇HoloLens 2×フレンチホルン×録画

では指の動きは一度あきらめて頭に付けたカメラの動画として演奏者の録画ができないかと試してみました。

youtu.be

こちらは音は割れることはなくきちんと録音されているように感じました。ただし、録画の視野角の問題で演奏自体の手の動きは難しいという結果になりました。

演奏者の顔の動き自体は取ることができます。

今回は音が割れることがないという点は貴重なデータが取れました。

こちらはHoloLensである必要はなさそうですね。

〇ではどう使うか?

f:id:Holomoto-Sumire:20200921221722j:plain

今回せっかくHoloLens2×フレンチホルンという取り組みをやりたくてやってみたので、何かしら効果的に使えるアイデアを出します。

①楽譜の表示

 野外で演奏を行う場合風で楽譜をおいている譜面台ごと楽譜が飛ばされてしまうことは多々あります。

 HoloLens を用いれば楽譜を空中に配置することができます。

 また、演奏者は必要に応じて譜面をめくるという動作が必要になります。

 HoloLensであれば空間を最大限使用できるのですべての譜面を配置しておき、譜面をめくることなく楽譜が見れます。

 筆者はHoloLens 1stでですが演奏に飛び入り参加する際にこの手法を行ったことがあります。

②セッション

 ピアノなどと異なりフレンチホルンを含む管楽器は一人一音しか出せません。 そのため一人ではハーモニーを作ることができません。

 そこでHoloLensの登場です。

 以前HoloLensでアカペラを作成した記事を本ブログでは公開しています。   redhologerbera.hatenablog.com

 このように任意のタイミングで他の楽器の音がSpatialなサウンドで再生されるとセッションを行える可能性があります。

 こちらは①と違い筆者自身試したことがないので次回自然の中で吹ける機会が訪れたときに試してみたいです。

③チューナーなど練習ツール

 管楽器演奏者は演奏中に常にピッチ(音程)を気にしています。 これは合奏中のハーモニーに影響するためです。また音程が悪いと聞いていて演奏そのものの質に影響します。

 通常はピアノやキーボード等のピッチが固定されている楽器を使い音叉の原理で演奏者がピッチを合わせますが、近年ではチューナーと呼ばれる音をマイクで拾ってメーターに可視化する機械を使うことがあります。

 YAMAHAなどの音楽機器メーカーが販売している専用のチューナーを用いることが一般的ですが、スマートフォンなどでもアプリがリリースされています。

 楽譜を表示するだけではなくHoloLens 2のマイクで演奏中の音を拾いピッチを可視化することができればプレイヤーにとってかなり便利になると思われます。

④ルーパー

 最後はルーパーとして利用するアイデアです。

 エレキギターエフェクターにはルーパーと呼ばれる演奏しているフレーズを録音してループさせるものがあります。

 HoloLens を使用して空間で音を固定すれば一人の演奏でも数秒前の過去の自分と音を合わせてセッションすることができます。

・参考

www.youtube.com

〇まとめ

 今回はHoloLens とフレンチホルンという筆者自身の好きな二つを同時に使いたい!演奏しながらHoloLens をかぶりたい、HoloLensを楽しみながら演奏したいという気持ちで書いた記事でした。

 HoloLensアプリ開発者の中では「HoloLensやKinectはアレックス・キップマン(HoloLensの生みの親)が作ったオーパーツで我々(開発者)が何に使えるのか読み解いていくのだ」ということを言っていた人がいました。

 まさしくオーパーツを解析するためには様々な分野、様々な人と組み合わせて初めて化学変化が起こるのではないかと感じます。

 数年後には全員がHMDを付けた演奏団体が現れるかもしれません。