输入的文本就能演奏一段爵士乐？ #Riffusion

riff + diffusion 是 stable diffusion 的微调模型，以生成频谱图图像来转换音乐。能产生更精准的声音模型叫：Riffusion。

它能对音频进行剪辑处理，或者是无限地修改提示符。

Riffusion

图源：riffusion 官网

频谱图

频谱图是音频声波的视觉表示，就像某人唱歌或说话一样。在音频频谱图中，声音被表示并映射到图形上。X轴是持续时间，Y轴是声音的频率。

图源：riffusion 官网

每个频率都可以有一个时间标识，并由像素的颜色表示，从而给出振幅。

stable diffusion 使用短时傅里叶变换（ STFT ）计算频谱图图像，STFT使用不同相位和振幅的一系列正弦波近似声音。

STFT 表示本地信号随时间变化的频率和相位，可以计算、反转这些信号变化，然后在频谱图中显示。

频谱图如何变成声音？

模型使用一种称为 Griffin-Lim 的特殊算法来近似相位偏移，生成频谱图，并在 AI 系统中进一步将其下游转换为音频。

也可以将 stable diffusion 的创建条件设置为文本和图像一起使用。

像爵士乐一样流畅

模型可以在长时间回放以及剪辑时无限移动，或者作为实时频谱图生成的歌曲，直到你得到一首从头到尾听起来流畅的歌曲为止。

图源：riffusion 官网

Riffusion 的出现让每一个人都有机会体验一把小小的音乐创作瘾，不需要斥巨资购入一堆乐器也能做出一条属于自己的流畅 bgm。

虽然 Riffusion 无法代替音乐人的创作，但对于从事音频工作的人来说却是省时省力的好帮手。

地址：

github.com/hmartiro/ riffusion-inference