夜風のMixedReality

xRと出会って変わった人生と出会った技術を書き残すためのGeekなHoloRangerの居場所

Metaの新しい生成系AI MusicGenを試す。

本日はAI枠です。

本日はMeta(旧Facebook)が発表したAIであるMusicGenを触っていきます。

〇MusicGenとは?

MusicGenはMetaが開発した生成系AIです。

基なる音源とテキストプロンプトを与えることで新たな音源を生成することができます。

特徴としてオープンソース化されていることと後述するWeb上でデモが誰でも体験することができる点が挙げられます。

〇MusicGenのデモを試す

MusicGenは以下のFacebookのhuggingfaceで無料で体験することができます。

huggingface.co

②10秒程度の音源をアップロードします。今回は先週けん玉の大会に出場したということもあり「うさぎとかめ」でアップロードします。

10秒程度なので今回は「もしもしかめよ、かめさんよ、世界で一番のろいのは、お前をおいてほかはない」までの歌詞が含まれる部分をデータとしました。

Describe your musicにテキストプロンプトとしてどのように曲を生成してほしいかを記述します。

今回は次のように指定しました。

Dance music at 144 BPM, drums and bass,melody on trumpet (テンポ144のダンスミュージックでドラムとベース、メロディーはトランペットで)

Generateを選択することで生成が始まります。

同時接続者などの関係で時間帯によって大きく生成時間に差が生まれていました。

生成が完了するとmp4の形で音源が作成されます。 この音源はDLすることもできます。

生成された曲がこちらです

www.youtube.com

原型をとどめていないと感じ『Dance music at 144 BPM, drums and bass』とメロディーに関する記述を抜いたものがこちらです。

youtu.be

こちらも原曲から逸脱している気がします。

何度かプロンプトを変更して生成して原曲の雰囲気を残しつつEDM化したものがこちらです。

youtu.be

リズムにもしかめのメロディが残っているのがわかると思います。

プロンプトは難しいところがありますがOSSでこのような技術が出るのは素晴らしいと思います。

本日は以上です。

〇参考

qiita.com