夜風のMixedReality

xRと出会って変わった人生と出会った技術を書き残すためのGeekなHoloRangerの居場所

テクニックとアカペラの作成 合成歌声がスゴイ!NEUTRINOを触ってみた その③

 初音ミクが登場したのが2007年、以後VOCALOIDをはじめとするバーチャルシンガーの文化は近年に至るまで衰えることのない人気があります。

 2019年の紅白歌合戦ではニューラルネットワーク(AI)を用いた美空ひばりさんの表現も行われました。

 VR,ARなどとはアプローチが異なりますが、バーチャルシンガーというものはデジタル環境に人格を持ったキャラクターを再現する手段として無限の可能性を秘めています。

 そんな中、2020年2月22日に「NEUTRINO」という新たなAI歌声合成ツールがリリースされました。

 リリースされてまだ数日ですが、すでに多くの方が注目し、記事が出ています。

suzusime-log.hatenablog.jp

km4osm.com

 私も早速触ってみたので、記事にしています。

 前回はMusescoreを使用してmusicxmlファイルを作成しました。

redhologerbera.hatenablog.com

〇テクニック

 [NEUTRINO]を使用しているうちに気が付いたことがあります。

●「蝶(ちょう)」→「ちょお」

 f:id:Holomoto-Sumire:20200226083912j:plain

 [NEUTRINO]では一音符(タイでつながった場合も含む)で一発音になります。

 そのため、「蝶(ちょう)」という歌詞場合や、「忘れたほうが」という歌詞は「ちょう」や「わすれたほおが」と表記することでより自然に歌ってくれます。

●ピッチを変更する

 f:id:Holomoto-Sumire:20200225082850j:plain

 実はこの楽譜は原曲より+2のキーで作られています。

 MuseScoreでは[Shift]キーを押しながら複数の音符を選択してキーボードの[]もしくは[]キーでキーを変えることができます。

f:id:Holomoto-Sumire:20200226085237j:plain

 [NEUTRINO]では歌いやすい音域などAIシンガーの個性のようなものがあるようです。

 そのため、歌声を書きだした際声がつぶれていたりかすれていたら一度与えるキーを変更して[Run.bat]の[PitchShift]の値を変更し、もしくは書き出した歌声の音声ファイル自体を編集してピッチを調整します。

 うまく歌ってくれるかどうかはAIシンガーの特徴を理解することと運です。

 ボーカロイドなどが「広く浅く」であるのに対し、AIシンガーは「狭く深く」であるようです。

〇アカペラを作る

 MuseScoreは採譜ソフトであるため和音を作成したり、複数パートを作成することができますが[NEUTRINO]ではそれはできません。

 今回はリードボーカル、2nd、3rd,Bassの4パートの歌声をそれぞれ作成し、別ソフトを使用して1つの音声ファイルに編集しました。

 今回使用したソフトは[Audacity]です。

audacity.softonic.jp

 音声ファイルをD&Dするだけで複数の音声ファイルを同時再生することができます。

 完成した音声ファイルが次になります。

www.dropbox.com

●注意点

 複数音源を同時に再生する場合タイムスタンプがあっていないとズレることがあります。

 [NEUTRINO]ではMusicXMLに指定されたテンポが反映されます。

 しかし最初の小説が休符である場合音源がずれることがあります。

f:id:Holomoto-Sumire:20200226092057j:plain

 その場合歌詞を付けないダミーの音符を最初の小節に設定することでこの問題を防ぐことができます。