Audio Super Resolution with Neural Networks

Audio Super Resolution with Neural Networks

论文:Audio Super Resolution with Neural Networks
代码: Github

CV方向的超分辨研究已经非常多了,但是音频方向的超分辨研究却相对较少。作者的这篇文章就是开山之作,已经发表在ICLR2017上,从项目主页的Demo来看,效果还不错。但是作者也指出了几个问题:

  • 如果想把这个模型用在自己的数据上,需要多搜集一些自己的数据训练,意思就是换个数据集可能就不好使了,毕竟每个数据集有一些差别
  • 作者的低分辨率音频是通过低通滤波下采样得到的,所以对于不同的低通滤波方式,算法产生的效果差别就很大。如果是你自己的低分辨率音频,你根本不知道这个音频是哪种低通滤波产生的,所以效果可能会打折扣
  • 如果是用人声训练出来的模型,应用到钢琴,音乐上,效果就会很差

总体思想

输入低分辨率的音频时间序列,训练一个Encoder-Decoder模型,输出高分辨率的音频时间序列。思路和CV的超分辨其实差不多。就是在低分辨率音频信号中插入高分辨细节。

网络结构如下:


网络结构图

左边输入的是原始低分辨率的音频信号,通过B个下采样的Blocks(每次下采样,feature map维度减半,滤波器大小翻倍),然后再通过B个上采样Blocks(每次上采样,feature map维度扩大一倍,滤波器大小减小一半)。底层特征通常对应wavelet-style features, 高层特征对应phonemes。每个Block的结构如下:


Block

其中,上采样的Block和下采样对应的Block还使用Skip Connection。上采样的DimShuffle是借鉴Subpixel shuffling layer。

还有,作者输入的音频信号到底是以什么样的形式输入的?
结合源代码和论文发现,作者首先把一段音频时间序列(就是一维数组,每个数组元素代表时间维度上的幅值,这里有个介绍音频信号的入门文章)进行下采样(下采样方式:先进行8阶切比雪夫滤波器滤波,然后降采样,然后插值上采样。这样就保证了低分辨率音频序列和高分辨长度一致。总之和图像数据超分辨的处理方式差不多),这样就得到了低分辨音频序列,而高分辨音频序列就是下采样之前的序列。这样就有了训练样本对,整个模型就可以训练起来了。


实验结果

下图是作者的实验结果,最左边是参考的频谱图,左二是输入,左三是插值算法的结果,左四是作者的结果。可以看出,作者的方法确实较好的恢复了高频信息。


实验结果

总结

  • 根据SNR,LSD两个评价指标来看,效果不错。不过在领域迁移方面,以及降采样方式适应方面,效果不好。应用场景十分受限
  • 可以实时,处理1s的音频只需要0.11s。而且不同于seq2seq任务,超分辨不需要等所有上下文输完才进行处理
  • 作者实验发现,skip connection,residual connection很重要

读完这篇论文的整体感觉就是很简单粗暴,就像超分辨的开山之作一样,也许好用的方法总是简单的!最起码,在事后看起来是那么简单!

你可能感兴趣的:(Audio Super Resolution with Neural Networks)