音频降噪概述(2)一基于AI降噪

目录

引言:

一. AI降噪模型等基础知识:

1.1 常见的模型结构:

DNN

CNN

RNN

1.2 模型训练方法

步骤:

1.3 设计AI降噪模型:

步骤

二. 基于频域掩码的AI降噪模型

基于频域掩码的AI降噪算法步骤:

三. AI降噪模型的工程部署

因果性:

AI降噪模型存储空间与算力限制

模型选用:

参数量化:

其他(特征/硬件/IO/部署平台等 ): 

参考文献


引言:

传统降噪局限性:

传统算法通过统计的方法对噪声进行估计,对稳态噪声能进行有效降噪。但对非稳态噪声和瞬态噪声效果不太理想。

AI降噪相比于传统降噪,噪声抑制效果得到提升,但部署时受到设备算力、存储体积等条件限制。

一. AI降噪模型等基础知识:

AI降噪时基于数据驱动的方法,让模型学习数据内隐含信息。 模型输入时带噪的语音信号,模型的输出时纯净的语音信号。

1.1 常见的模型结构:

DNN

DNN计算中每个神经元都是前一层的加权平均。得到一个多层的线性网络对复杂信号处理进行建模。

CNN

一维卷积(时域)和二维卷积(TF)

RNN

LSTM, GRU,自回归、时序建模

1.2 模型训练方法

分为有监督和无监督训练。降噪一般采用有监督训练

步骤:

  1. 通过预处理把带噪信号处理成 输入给NN的输入特征
  2. 通过NN预测估计的特征
  3. 计算估计的特征和label 特征之间的差距,loss(可以MSE等)
  4. Loss反向传播,结合梯度下降更新模型参数
  5. 重复至收敛,loss不再下降等

1.3 设计AI降噪模型:

步骤

  1. NN降噪模型,包括模型的预处理和后处理过程
  2. 合适的loss
  3. 合适的语音信号和噪声信号的数据库

时域模型:TasNet等

频域模型:RNNoise、CRN等

二. 基于频域掩码的AI降噪模型

类似传统的维纳滤波通过计算先验信噪比,然后对频域每一个频点乘一个小于1的系数抑制噪声。这些系数称为频域掩码。传统方法是基于统计的方法得到频域掩码,基于NN的方法是通过模型预测出NN。

基于频域掩码的AI降噪算法步骤:

  1. 带噪信号过STFT,时域转频域
  2. 频域输入NN,NN预测出干净信号的频域掩码
  3. 频域信号 乘 频域掩码,得到降噪的频域信号
  4. 降噪后的频域信号做iSTFT 得到纯净语音信号

幅度谱:对复数域的取模就是幅度谱,代表不同频点的能量分布。

相位谱:对复数谱中实部与虚部比值求反正切,得到相位谱。(-pai到pai)

上述过程只改变了幅度谱没有改变相位谱。相位谱没有准确描述的物理含义,建模较难且人耳对相位不是很敏感。

基于复数域代表:微软的PHASEN和2020DNS降噪比赛夺冠的DCCRN等

音频降噪概述(2)一基于AI降噪_第1张图片

三. AI降噪模型的工程部署

首先AI模型在算力和模型参数存储上比传统方法要求更高。

因果性:

RTC实时音频的应用场景中,降噪处理考虑因果性。  因为未来的信息是拿不到的所以一些双向结构RNN等不能用。  但一点未来信息不用回导致模型的降噪能力下降。

因此采用引入一点延迟的方式提升模型的降噪能力。  比如在第I + m帧输出第i帧的信号。  m一般不超过3。 模型可以look ahead 前3帧。

AI降噪模型存储空间与算力限制

模型部署时,尤其在手机、IOT等移动端部署,设备的算力和存储 空间都会受到限制。

不同模型等算力复杂度和参数量分布:

音频降噪概述(2)一基于AI降噪_第2张图片

模型选用:

CNN的卷积核能复用所以参数量较小。DNN和RNN本质上是线性设计,参数量较大。因此移动端等存储空间小的设备设计算法时,会尽量选择CNN,或CNN结合别的结构来压缩参数量。

参数量化:

另一方面对于RNN和DNN等可以通过参数量化等方式对模型进行压缩。比float32 转int8bit量化。  量化会对模型精度造成损伤,CNN等不适合,但RNN和DNN可以做合适量化,没那么敏感。

其他(特征/硬件/IO/部署平台等 ):

选用特征:可以在RNNoise 采用BFCC 这种压缩的频谱特征作为输入,减少特征。

特定的硬件:特点的计算芯片支持不同精度的计算,量化后计算速度更快。

数据读取优化:对模型参数和输入数据,按照内存连续读取最优的方式进行重排,实现IO的加速

采用合适部署工具:

如下图常用的AI模型部署工具

音频降噪概述(2)一基于AI降噪_第3张图片

 

参考文献

 1、Luo Y, Mesgarani N. Tasnet: time-domain audio separation network for real-time, single-channel speech separation[C]//2018 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). IEEE, 2018: 696-700.

2、Luo Y, Mesgarani N. Conv-tasnet: Surpassing ideal time–frequency magnitude maskingfor speech separation[J]. IEEE/ACM transactions on audio, speech, and language processing, 2019, 27(8): 1256-1266.

3、Valin J M. A hybrid DSP/deep learning approach to real-time full-band speech enhancement[C]//2018 IEEE 20th international workshop on multimedia signal processing (MMSP). IEEE, 2018: 1-5.

4、Strake M, Defraene B, Fluyt K, et al. Fully convolutional recurrent networks for speech enhancement[C]//ICASSP 2020-2020 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). IEEE, 2020: 6674-6678.

5、Ma C, Li D, Jia X. Optimal scale-invariant signal-to-noise ratio and curriculum learning for monaural multi-speaker speech separation in noisy environment[C]//2020 Asia-Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA ASC). IEEE, 2020: 711-715.

6、Yin D, Luo C, Xiong Z, et al. PHASEN: A phase-and-harmonics-aware speech enhancement network[C]//Proceedings of the AAAI Conference on Artificial Intelligence. 2020, 34(05): 9458-9465.

7、Hu Y, Liu Y, Lv S, et al. DCCRN: Deep complex convolution recurrent network for phase-aware speech enhancement[J]. arXiv preprint arXiv:2008.00264, 2020.

总结自极客课程《搞定音频技术》

你可能感兴趣的:(音频技术学习总结,语音识别,深度学习,基于AI降噪,概述,语音降噪)