webrtc_ns降噪模块详细解读

webrtc_ns降噪模块详细解读

总述

webrtc的降噪模块主要分为3个部分：模块初始化、噪声分析（analysis）、噪声抑制。模块初始化是在最开始为降噪模块设置参数以及初始化一些状态的值。噪声分析模块，主要进行噪声估计、speech/noise概率计算等。噪声抑制模块则根据前面计算的语音概率和噪声使用维纳滤波来抑制噪声。下面首先对一些相关公式进行介绍，再对整个算法流程进行分析。

（目前只完成了相关词算法分析，代码流程分析待更新。疏忽错误在所难免，如有劳烦指出）

相关算法公式分析

假设麦克风接收到的信号为$y(t)$，语音信号为为$x(t)$，噪声信号为$n(t)$，则$y(t)=x(t)+n(t)(1-1)$，在频域的表达则是$Y(\omega )=X(\omega )+N(\omega )(1-2)$，噪声抑制即希望从$y(t)$中尽可能恢复$x(t)$，以提升纯净度和可懂度。整体过程如下：对于接收到的一帧含噪语音，进行初始噪声估计，定义语音概率函数，然后根据噪声计算每一帧的若干特征；根据多个特征（features）计算speech probability，然后对speech probability进行动态加权（利用特征和阈值参数（threshold parameters））；根据已经计算出的基于features的speech probability 优化语音概率函数（speech probability function）；然后使用优化后的函数来更新每帧的初始噪声估计。

1. 信噪比（SNR）计算

   信噪比的计算主要分为先验信噪比（priori SNR）和后验信噪比（posteriori SNR）计算，这两个信噪比会被用与计算似然比（likelihood ratio，LRT）。

   后验信噪比：用信号功率与噪声功率之比：${\sigma }_k(m)=\frac{|Y_k(m){|}^2}{⟨|N_k(m){|}^2⟩}(1-3)$，$k$是频率的index，$m$为时间的，尖括号指的是求统计平均，从分子可以看出这是一个瞬态量

   先验信噪比：语音信号和噪声信号功率之比：${\rho }_k(m)=\frac{⟨|X_k(m){|}^2⟩}{⟨|N_k(m){|}^2⟩}(1-4)$

   在webrtc中，为了节约计算量，不使用平方而使用幅度值，前面两个式子变为${\sigma }_k(m)\approx \frac{|Y_k(m)|}{⟨|N_k(m)|⟩}(1-5)$和${\rho }_k(m)\approx \frac{⟨|X_k(m)|⟩}{⟨|N_k(m)|⟩}(1-6)$

   由于纯净语音信号是未知的，所以webrtc中使用过去帧的先验SNR和当前帧的SNR进行平滑来得到先验信噪比：${\rho }_k(m)={\gamma }_{dd}H(k,m-1)\frac{|Y_k(m-1)|}{⟨|N_k(m-1)|⟩}+(1-{\gamma }_{dd})\max ({\sigma }_k(m)-1.0)(1-7)$

   其中$H(k,m-1)$是前一帧的维纳滤波器的系数，$H$和$Y$相乘实际上就是噪声抑制，也即$X_k(m-1)\approx H(k,m-1)Y(m-1)$；而${\sigma }_k(m)$是对当前帧后验信噪比的一个粗估计，因为${\sigma }_k(m)-1.0=\frac{|X_k(m)+N_k(m)|}{⟨|N_k(m)|⟩}-1\approx \frac{|X_k(m)|}{⟨|N_k(m)|⟩}={\rho }_k(m)$。因此$(1-7)$实际上就是前一帧的先验信噪比估计与当前帧的先验信噪比估计的加权求和，${\gamma }_{dd}$（Decision Directed，DD）是一个平滑因子，其值越大表示平滑力度越大，但是信噪比更新就越慢、延迟越高。在webrtc中，这个值被设置为0.98。

2. webrtc相关语音特征

   webrtc在其代码中主要使用了频谱平坦度（spectral flatness）、似然比均值（LRT mean value）、噪声模板相似度（spectral template difference）作为特征，下对特征进行介绍：

   • LRT 均值

     时间平滑后的似然比的均值时衡量语音、噪声状态的可靠指标，其计算公式为：

     $F_1=\log (\prod _k\tilde{\Delta }(m{)}^{1/N})=\frac{1}{N}\sum _{k=1}^N\log ({\tilde{\Delta }}_k(m))(1-8)$

     其中$\Delta$将在后面speech probability时介绍，在使用LRT均值特征时，通常使用一个tanh相关函数作为映射函数：$M(z)=0.5\ast (\tanh (w_1{z}_1)+0.5)$，其中$F_1$即为LRT均值特征，$w_1$是一个用于控制从0到1映射的平滑性的参数，阈值参数$T_1$需要根据其他参数设定。

   • 频谱平坦度

     通常认为语音比噪声有着更多的谐波，其表现就是语音信号在基频和谐波除会有许多能量峰值，而噪声信号的频谱则相对平坦，因此频谱平坦度可以用来区分语音和噪声。计算此特征时，语音被划分为若干个子频带，每个频带的频点数量可以不同。频谱平坦度的计算公式为：

     $F_2=Flatness=\frac{{\prod }_k|Y_k{|}^{1/N}}{\frac{1}{N}{\sum }_k|Y_k|}=\frac{\sqrt[N]{{\prod }_{k=0}^{N-1}|Y_k(m)|}}{\frac{1}{N}{\sum }_{k=0}^{N-1}|Y_k(m)|}=\frac{e^{\frac{1}{N}{\sum }_{k=0}^{N-1}\ln Y_k(m)}}{\frac{1}{N}{\sum }_{k=0}^{N-1}|Y_k(m)|}(1-9)$

     其中$N$为子带中的频点数量。噪声的$F_2$比较大且变化幅度较小，语音的$F_2$比较小且变化幅度较大

   • 频谱模板相似度（差异）

     特征含义：定义一个“噪声模板”，然后求输入频谱与该模板的差异。如果差异较小，说明输入帧接近模板，也说明输入是噪声的概率较大。此特征具有比频谱平坦度更强的泛化性：也即在某些情况下，频谱模板相似度可以简化为对频谱平坦度的测量。

     平稳噪声的频谱比语音的频谱更加平坦，因此我们认为噪声谱的包络倾向于保持不变。频谱模板通过频谱中极有可能是噪声或者语音停顿的区间段来确定，并且只在语音概率小于阈值的时候对噪声进行更新。这种模板方法也可以用来解决非平稳噪声（通过产生一些非平稳噪声的模板）。在webrtc中模板相似度定义为：

     $J=\sum _k|Y_k(m)-N_k(m){|}^2=\sum _k|Y_k(m)-[\alpha \cdot a_k(m)+\mu ]{|}^2(1-10)$

     其中$Y$为输入频谱，$a_k(m)$为噪声模板频谱，$\alpha$和$\mu$是控制振幅和线性偏置的参数，归一化的模板相似度定义如下：

     $F_3=\frac{J}{\frac{1}{W}\sum _{m=0}^W\sum _k|Y_k(m){|}^2}=\frac{\sum _k|Y_k(m)-[\alpha \cdot a_k(m)+\mu ]{|}^2}{\frac{1}{W}\sum _{m=0}^W\sum _k|Y_k(m){|}^2}(1-11)$

     即对所有频率以及一定时间窗口范围内求平均，也可以给不同频带设置不同的权重：

     $J=W_k\sum _k|Y_k(m)-[\alpha \cdot a_k(m)+\mu ]{|}^2(1-12)$

   可以利用上述几个特征定义一个speech/noise概率，也被称为“基于特征的语音概率”：

   $$\begin{gathered} q_m(H|F_1,F_2,F_3)=q_m={\gamma }_q{q}_{m-1}+(1-{\gamma }_q)[{\tau }_1{M}_1(F_1-T_1,w_1)+{\tau }_2{M}_2(F_2-T_2,w_2)+{\tau }_3{M}_3(F_3-T_3,w_3)] \\ (1-13) \end{gathered}$$

   $H$表示speeech/noise状态，$F$是被测特征，$T$为特征阈值，$w$代表映射函数的形状、宽度特征，$M$为映射函数如tanh函数等，其作用是根据测量出的特征以及阈值和宽度参数，将每一帧划分为语音（M接近1）或噪声（M接近0）。其作用是$\tau$为权重以使结果更加稳定。本算法中的映射函数取为$M(z)=0.5\ast (\tanh (wz)+0.5)$

   3. speech/noise 概率计算

   首先定义语音状态为$H^{k,m}=H_1^{k,m}$，噪声状态为$H^{k,m}=H_0^{k,m}$，则speech/noise 概率为：$P(H^{k,m}|Y_k(m),\{F\})$，也即概率取决于输入频谱以及前面提到的几个特征。根据贝叶斯准则有以下常见公式：

   $P(A|B)=\frac{P(A,B)}{P(B)}$以及衍生出的$P(A|B,C)=\frac{P(A,B|C)}{P(B|C)}$

   $P(B_1|A)=\frac{P(A|B_1)P(B_1)}{P(A|B_1)P(B_1)+P(A|B_2)P(B_2)}$，其中$B_1$和$B_2$是对立事件，则标准化的语音概率：

   $$P(H_1|Y_k(m),\{F\})=\frac{P(Y_k(m),\{F\}|H_1)P(H_1)}{P(Y_k(m),\{F\}|H_1)P(H_1)+P(Y_k(m),\{F\}|H_0)P(H_0)}$$

   $=\frac{P(Y_k(m)|\{F\},H_1)P(\{F\}|H_1)P(H_1)}{P(Y_k(m)|\{F\},H_1)P(\{F\}|H_1)P(H_1)+P(Y_k(m)|\{F\},H_0)P(\{F\}|H_0)P(H_0)}$

   $=\frac{P(Y_k(m)|\{F\},H_1)P(\{F\},H_1)}{P(Y_k(m)|\{F\},H_1)P(\{F\},H_1)+P(Y_k(m)|\{F\},H_0)P(\{F\},H_0)}$

   $=\frac{P(Y_k(m)|\{F\},H_1)\frac{P(\{F\},H_1)}{P(\{F\})}}{P(Y_k(m)|\{F\},H_1)\frac{P(\{F\},H_1)}{P(\{F\})}+P(Y_k(m)|\{F\},H_0)\frac{P(\{F\},H_0)}{P(\{F\})}}$

   $=\frac{P(Y_k(m)|\{F\},H_1)q_{k,m}(H_1|F)}{P(Y_k(m)|\{F\},H_1)q_{k,m}(H_1|F)+P(Y_k(m)|\{F\},H_0)q_{k,m}(H_0|F)}(1-14)$

   其中$q_{k,m}(H|F)=\frac{P(\{F\},H)}{P(\{F\})}=P(H|\{F\})$为前面提到的"基于特征的语音概率"，记$q_{k,m}(H_1|F)=P(H_1|\{F\})=q$以及$q_{k,m}(H_0|F)=P(H_0|\{F\})=1-q$，则式$(1-14)$变为：

   $P(H_1|Y_k(m),\{F\})=\frac{q{\Delta }_k}{q{\Delta }_k+1-q}(1-15)$

   其中似然比（LR）${\Delta }_k$为：${\Delta }_k=\frac{P(Y_k(m)|\{F\},H_1)}{P(Y_k(m)|\{F\},H_0)}(1-16)$，此即为在前面LRT均值部分提到的量。${\Delta }_k$表达式中的$P(Y_k(m)|H_{0,1},\{F\})$是通过线性状态模型和针对语音和噪声频谱系数的高斯概率密度函数（PDF）确定的。语音状态下有$Y_k(m)=X_k(m)+N_k(m),H=H_1$，噪声状态下有$Y_k(m)=N_k(m),H=H_0$。若概率密度函数使用复数系数$\{X_k(m),N_k(m)\}$，为简便起见省略表示为$\{X_k,N_k\}$，则$P(Y_k(m)|H,\{F\})$表示为：

   $P(Y_k(m)|H_0,\{F\})=P(Y_k(m)|H_0)\propto \frac{1}{⟨|N_k{|}^2⟩}\exp (-\frac{|Y_k{|}^2}{⟨|N_k{|}^2⟩})(1-17)$

   $P(Y_k(m)|H_1,\{F\})=P(Y_k(m)|H_1)\propto \frac{1}{⟨|N_k{|}^2⟩+⟨|X_k{|}^2⟩}\exp (-\frac{|Y_k{|}^2}{⟨|N_k{|}^2⟩+⟨|X_k{|}^2⟩})(1-18)$

   则似然比为：

   ${\Delta }_k=\frac{P(Y_k(m)|H_1)}{P(Y_k(m)|H_0)}=\frac{⟨|N_k{|}^2⟩}{⟨|N_k{|}^2⟩+⟨|X_k{|}^2⟩}\exp (\frac{|Y_k{|}^2}{⟨|N_k{|}^2⟩}-\frac{|Y_k{|}^2}{⟨|N_k{|}^2⟩+⟨|X_k{|}^2⟩})$

   $=\frac{1}{1+{\rho }_k(m)}\exp ({\sigma }_k(m)-\frac{{\sigma }_k(m)}{1+{\rho }_k(m)})=\frac{1}{1+{\rho }_k(m)}\exp (\frac{{\sigma }_k(m){\rho }_k(m)}{1+{\rho }_k(m)})(1-19)$

   其中${\sigma }_k(m)$和${\rho }_k(m)$即前面提到的后验和先验信噪比。帧与帧之间的频变会使${\Delta }_k$有比较大的波动，因而使用时间平滑处理后的似然银子：$\log ({\tilde{\Delta }}_k(m))={\gamma }_{lrt}\log ({\tilde{\Delta }}_k(m-1))+(1-{\gamma }_{lrt})\log ({\Delta }_k(m))(1-20)$

   对上式求集合平均即$(1-8)$描述的似然比特征。

   4. 噪声更新

   一旦speech/noise probability计算出来，就可以根据其对噪声进行平滑更新，更新方式如下：

   $|{\hat{N}}_k(m)|={\gamma }_n|{\hat{N}}_k(m-1)|+(1-{\gamma }_n)[P(H_1|Y_k(m)){\hat{N}}_k(m-1)+P(H_0|Y_k(m))Y_k(m)](1-21)$

   其中${\hat{N}}_k(m-1)$是上一帧的估计噪声，$P(H_{0,1}|Y_k(m))$等于$P(H_{0,1}|Y_k(m),\{F\})$，表达式如$(1-15)$所示

   5. 噪声抑制

   当噪声更新完成后，就可以使用维纳滤波器对噪声进行抑制，常见维纳滤波器的表达式为：

   $H_w(k,m)=\frac{⟨|X_k(m){|}^2⟩}{⟨|Y_k(m){|}^2⟩}=1-\frac{⟨|N_k(m){|}^2⟩}{⟨|Y_k(m){|}^2⟩}\approx 1-\frac{|{\hat{N}}_k(m){|}^2}{|Y_k(m){|}^2}(1-22)$

   若模长代替平方，上式变为:

   $H_w(k,m)=1-\frac{|{\hat{N}}_k(m)|}{|Y_k(m)|}(1-23)$

   在本算法中，维纳滤波器用先验SNR表示：

   $H_k(m)=\frac{{\rho }_k(m)}{1+{\rho }_k(m)}(1-24)$

   ${\rho }_k(m)$为前文中定义的先验SNR，根据定义${\rho }_k(m)$为取平滑后的先验信噪比，所以次维纳滤波器也经过了时间平滑，因此不再另外单独进行平滑。将噪声频谱替换为估计出的噪声频谱则$(1-6)$变为：

   ${\rho }_k(m)=\frac{⟨|X_k(m)|⟩}{|{\hat{N}}_k(m)|}$，进而$(1-7)$也发生类似变化。根据判决引导（DD, decision directed）最终取：

   $H_{w,dd}(k,m)=\max \{H_{min},\frac{{\rho }_k(m)}{\beta +{\rho }_k(m)}\}(1-25)$

   其中$\beta$是控制降噪程度的参数，最后，对输入频谱应用维纳滤波器得到降噪后的频谱：

   ${\hat{X}}_k(m)=H_{w,dd}(k,m)Y_k(m)(1-26)$

   然后进行逆傅里叶变化就可得到降噪后的时域信号。