文本生成超逼真歌曲,谷歌推出音乐模型Lyria

转换示例

谷歌旗下的DeepMind与视频平台YT合作,发布了目前最先进的音乐模型——Lyria。

为了突破传统音乐模型的生硬机器感,谷歌汇集了多个部门并与Charlie Puth、T-Pain、Troye Sivan等9位知名音乐人共同研发了Lyria。

Lyria可生成爵士、重金属、摇滚、电子、流行等多种类型音乐。由于专业音乐人的加入,使得Lyria在歌词、旋律、节奏、模拟人声等方面非常卓越达到以假乱真的效果。

例如,生成的Charlie Puth音乐和本人演唱的几乎无差别。

AI生成的Charlie Puth歌曲

生成的T-Pain歌曲-2

Lyria简单介绍

通常,一首歌曲包含大量数据,需要考虑节拍、音符、和声、乐器搭配等多种元素。

在生成长序列声音时,AI模型难以在短语、节和延伸段落间保持音乐的连续性。所以,AI生成音乐的难度远远超过纯背景音乐。

谷歌研究人员采用了一种全新的方法来开发Lyria,在生成高质量、逼真音乐的同时,还能让用户对风格和个性化进行更详细的控制。

目前,谷歌在YT平台通过Lyria模型开展了一项名为“Dream Track”的实验,目的是帮助音乐人加速音乐制作,为其粉丝带来一种全新的音乐风格。

在该实验中,部分创作者可以使用Dream Trac生成包括Alec Benjamin、Charlie Puth、Charli XCX、Demi Lovato、John Legend、Sia、T-Pain等艺术家,带有AI生成声音和音乐风格的独特原声歌曲。

使用Dream Track方法非常简单,用户只需要输入一段文本,然后选择一名音乐人风格,就能生成一个30秒的短音乐,同时可以生成歌词、伴奏等。

文本生成超逼真歌曲,谷歌推出音乐模型Lyria_第1张图片

使用界面

此外,Lyria模型还有一项非常强大的功能,可以将音频、音乐转直接换成另外一种风格,例如,把一首流行歌曲转换成管弦乐谱;将MIDI 键盘和弦,转换为声乐合唱团的声音。

转换示例-4

转换示例

转换示例-2

对AI音乐添加水印

为了提升AI的安全,避免用户通过Lyria生成的音乐乱用,谷歌将自研的SynthID水印直接内置在其中。

Lyria生成的所有歌曲都带有数字水印,人的耳朵听不见也不会影响音乐的效果。主要通过音频波转换为二维可视化来实现。

文本生成超逼真歌曲,谷歌推出音乐模型Lyria_第2张图片


水印示例

即便数字水印遭受了添加噪声、音质压缩、音频调速等破坏性操作,仍然可以检测到歌曲中的水印。

谷歌表示,Lyria可以彻底改变音乐的创作模式,可以帮助制作人简化繁琐、重复的流程,同时能激发他们的灵感,可以创造更多丰富、有节奏的好音乐。

未来,将继续与音乐人、公司合作,增强Lyria的功能和使用范围。

本文素材来源谷歌官网,如有侵权请联系删除

END

你可能感兴趣的:(人工智能)