夜風のMixedReality

xRと出会って変わった人生と出会った技術を書き残すためのGeekなHoloRangerの居場所

合成歌声がスゴイ!NEUTRINOを触ってみた その①

 初音ミクが登場したのが2007年、以後VOCALOIDをはじめとするバーチャルシンガーの文化は近年に至るまで衰えることのない人気があります。

 2019年の紅白歌合戦ではニューラルネットワーク(AI)を用いた美空ひばりさんの表現も行われました。

 VR,ARなどとはアプローチが異なりますが、バーチャルシンガーというものはデジタル環境に人格を持ったキャラクターを再現する手段として無限の可能性を秘めています。

 そんな中、2020年2月22日に「NEUTRINO」という新たなAI歌声合成ツールがリリースされました。

 リリースされてまだ数日ですが、すでに多くの方が注目し、記事が出ています。

suzusime-log.hatenablog.jp

km4osm.com

 私も早速触ってみたので、記事にします。

〇NEUTRINOとは?

https://n3utrino.work/

~以下公式サイトから引用~

NEUTRINOはニューラルネットワークを用いた歌声シンセサイザーです。本ソフトウェアはフリーウェアです。 楽譜から発声タイミング・音の高さ・声質・声のかすれ具合などをニューラルネットワークで推定します。上記の推定されたパラメータを元にvocoderで音声を合成します。 本ソフトの名称はまだ聞いたことのないような楽曲・ジャンルを開拓してほしいという思いを込めて名付けました。あなたの創作・発見の一助になれれば幸いです。

 初音ミクなどのバーチャルシンガーの多くは有料ソフトウェアですが、こちらはフリーソフトウェア(2020年2月現在)としてリリースされています。

soundcloud.com

 実際のサンプルを聞いてもパッと聞いて合成かどうかわからないくらいの質です。

 2月現在[東北きりたん]と[謡子]の二種類のデータベースを用いているようです。

 これは研究者向けに公開されているデータベースを用いて合成しているようです。

zunko.jp

 このページで一つ興味深い説明があったので引用します。

 

Q:どうして研究目的にデータ配布できているの?

2018年度に改正された『著作権法 30条の4』で音楽などにおいても著作物の技術開発などへの利用が可能になりました。 歌唱データであっても研究開発、情報解析などで「著作物の表現を享受しない」場合は利用できるので音源データを配布しております。 東北きりたんの音源データを使って商用利用する場合は「著作物の表現を享受する」状態になる可能性があるので、許諾が必要になりますが、あくまでも研究にとどまる場合は利用が可能になります。 

 紅白での美空ひばりさんの研究でもかかわっていそうです。(音楽関係の著作権は昔から議論されること多いですが、この改正で研究等での利用ができ、美空ひばりさんのような例が増えることが予想されます。)

〇使ってみる

 ダウンロードして解凍したフォルダは以下のようになっています。

f:id:Holomoto-Sumire:20200224091652j:plain

 [README]に説明は書かれているのですが簡単に見ていくと、[Run.bat](Run)をダブルクリックで実行することで[output]フォルダ以下に音源が作成されます。

 そのまま実行した場合、[score]→[musicxml]以下に用意されているMusicXMLファイルがサンプルとして読み込まれます。

 オリジナルの曲を歌ってほしい場合[Run.bat]を選択し、右クリックから[編集]を選択します。

f:id:Holomoto-Sumire:20200224092511j:plain

 [Set BASENAME=○○]の○○に[score]→[musicxml]以下に配置したオリジナルのファイルの名前を指定することでオリジナルの曲を歌ってもらえます。

 その他、ピッチや声質を変えることができます。

f:id:Holomoto-Sumire:20200224092925j:plain

 次回オリジナルの楽譜を作ります。

 こちらが実際に作ってみた音源です。

www.dropbox.com