语音增强技术

我的书：
淘宝购买链接
当当购买链接
京东购买链接

在人机交互的场景中，麦克风采集到的人声不可避免的混杂外界噪声，可以通过信号处理的方法在处理前将其去除，以获得“纯净”的语音信号。这一过程称为降噪或者语音增强；从麦克风数量上分为单麦克降噪，多麦克降噪，算法层次上，主要分为滤波法（时域，频域，空域），谱分辨法，基于模型的方法。
噪声将改变采集到的人声特性，噪声/干扰分为四类：加性噪声，人声间互相干扰，混响，回声。这些噪声在信号处理领域分别被称为：降噪（noise reduction/noise suppression），去混响（dereverberation），回声消除（AEC），SS（source seperation）。每一个都是一个很大的研究类别。绕射声场：实际使用场景的空间有很多反射面和声场能量吸收介质，声音早空间中多次反射和绕射（衍射，声波会绕至障碍物背后并继续向前传播的一种现象）以在空间中获得一致性的分布。多次反射的部分形成混响。

加性噪声消除
消除噪声的同时要求不能损伤感兴趣的人声，如果损伤将对后续处理（
MFCC，PLP，LPC）有影响；这样可以使用诸如信噪比SNR准则，感知质量判决准则等，最早的降噪研究是模拟域的谱减法，后来又有了数字域的谱减法。由于语音和噪声的通常具有不同的特征，基于滤波的方法是将信号通过线性滤波器，在基本保持原有语音信号不变的同时将具有噪声特征的信号滤除；常用的方法包括维纳滤波，子空间法。谱分辨法估计语音和噪声的频谱，常用方法有最小均方误差（MMSE），最大似然估计，最大后验概率估计。基于模型的方法为语音产生建模，参数估计在模型空间进行，常用方法如基于线性预测的卡尔曼滤波，基于隐马尔科夫的统计模型。
2.1问题描述
这里以一个麦克风为例，在时刻$n$,麦克风采集到的信号是$y(n)$，人声信号是$x(n)$,加性噪声是$v(n)$,这里没有考虑混响，回声和路径传播等影响，则有：
$$y(n)=x(n)+v(n)\text{\hspace{1em}(2.1)}$$
其向量表示如下：
$$\mathbf{y}(n)=\mathbf{x}(n)+\mathbf{v}(n)\text{\hspace{1em}(2.2)}$$
上式中$\mathbf{y}(n)={\left[\begin{array}{cccc}y(n)& y(n-1)& \cdots & y(n-L+1)\end{array}\right]}^T$,$L$是最近观测到的带噪信号数量，降噪问题就是从观测到的$y(n)$估计$x(n)$,对式2.2做DTFT变换后得到：
$$Y(n,i{\omega }_k)=X(n,i{\omega }_k)+V(n,i{\omega }_k)\text{\hspace{1em}(2.4)}$$
$$Y(n,i{\omega }_k)=\sum _{l-0}^{L-1}w(l)x(n-L+l+1)e^{-i{\omega }_{k}l}\text{\hspace{1em}(2.5)}$$
是n时刻的STFT，${\omega }_K=2\pi k/L,L=0,1,...,L-1$, $w(l)$是窗函数。
在消除噪声的同时，要求尽量不损伤采集到的语音信号，常用评价准则：

• SNR准则

$$SNR\triangleq \frac{{\sigma }_x^2}{{\sigma }_v^2}=\frac{E[x^2(n)]}{E[v^2(n)]}\text{\hspace{1em}(2.6)}$$
其中$P_x(\omega )$和$p_v(\omega )$分别是信号和噪声的功率谱。

• 语音失真度
  假设式2.1估计的语音信号是${\hat{x}}_{nr}(n)$，则语音失真如下：
  $${\varphi }_{sd}=\frac{E[x(n)-{\hat{x}}_{nr}(n){]}^2}{E[x^2(n)]}\text{\hspace{1em}(2.7)}$$
  该值介于0~1，靠近0则失真度小，该值反应的是整体失真度，更为细粒度的频谱指标是：
  $${\Phi }_{sd}(\omega )\triangleq \frac{E[|X(i\omega ){|}^2-|\hat{X}(i\omega ){|}^2]}{E[|X(i\omega ){|}^2]}=\frac{P_x(\omega )-P_{{\hat{X}}_{nr}}}{P_x(\omega )}\text{\hspace{1em}(2.8)}$$
  这里可以看出，可以针对每个频率点，进行分析，通常划分成低中高三个频带或者低，中低，中高，高四个频带进行分析。
  ##滤波降噪法
  维纳滤波法，子空间法以及维纳滤波参数法。
  ###维纳滤波法
  通过实际信号和误差信号之间的最小均方误差MMSE进行求解，将观测道德额信号通过一个FIR滤波器$\mathbf{h}(n)={\left[\begin{array}{cccc}{h}_0& h_1& \cdots & h_{L-1}\end{array}\right]}^T$,则可以得到输入信号的估计值$\hat{x}(n)$:
  $$\hat{x}(n)={\mathbf{h}}^T\mathbf{y}(n)$$
  这样就可以得到误差信号$e_x(n)$:
  $$e_x(n)\triangleq x(n)-\hat{x}(n)=x(n)-{\mathbf{h}}^T\mathbf{y}(n)\text{\hspace{1em}(2.9)}$$
  则可以得到判决准则/代价/目标函数：
  $$\hat{\mathbf{h}}=\arg \underset{\mathbf{h}}{\min }{J}_x(\mathbf{h})=E[e_x^2(n)]\text{\hspace{1em}(2.10)}$$
  根据MMSE准则，推导$\hat{\mathbf{h}}$表达式：
  $$E[e_x^2(n)]=[x(n)-{\mathbf{h}}^T\mathbf{y}(n)][x(n)-{\mathbf{h}}^T\mathbf{y}(n){]}^{\ast }\text{\hspace{1em}(2.11)}$$
  这里直接给出$\mathbf{h}$的最优解(维纳-霍夫)方程，推导见后文。
  $${\mathbf{h}}_{opt}={\mathbf{R}}^{-1}{\mathbf{P}}^{\ast }\text{\hspace{1em}(2.22)}$$
  其中$\mathbf{R}=E[{\mathbf{y}}^{\ast }(n){\mathbf{y}}^T(n)]$, $\mathbf{P}=E[x^{\ast }(n)\mathbf{y}(n)]$
• 维纳-霍夫方程推导
  根据方程2.11可以进一步推导如下：
  $$E[e_x^2(n)]=E[x^2(n)]+{\mathbf{h}}^H(n)[{\mathbf{x}}^{\ast }(n){\mathbf{x}}^T(n)]\mathbf{h}(n)-2Re{\mathbf{h}}^T(n)E[x^{\ast }(n)\mathbf{x}(n)]=E[x^2(n)]+{\mathbf{h}}^H\mathbf{R}\mathbf{h}-2Re({\mathbf{h}}^T\mathbf{P})\text{\hspace{1em}(2.23)}$$
  式2.23可以式子的右边是误差的平方，必然大于等于零，而我们期望误差尽可能的小（期望它等于0），这是关于$\mathbf{h}$的二次函数，存在全局最小点。
  将式2.23对$\mathbf{h}$求导数：
  $$▽=\frac{\partial E[e_x^2(n)]}{\partial \mathbf{h}}=2\mathbf{R}\mathbf{h}-2{\mathbf{P}}^{\ast }\text{\hspace{1em}(2.24)}$$
  最优解处梯度等于零，则令2.24等于0得：
  $$▽=2\mathbf{R}{\mathbf{h}}_{opt}-2{\mathbf{P}}^{\ast }=0\text{\hspace{1em}(2.25)}$$
  ###子空间法
  以MMSE为准则的维纳滤波能够获得最大的降噪性能，但是同时对语音信号损伤也会比较大。
  根据式2.9，
  $$\mathbf{e}(n)=\hat{\mathbf{x}}(n)-\mathbf{x}(n)=\mathbf{h}\mathbf{y}(n)-\mathbf{x}(n)=(\mathbf{h}-\mathbf{I})\mathbf{x}(n)+\mathbf{h}\mathbf{v}(n)={\mathbf{e}}_x(n)+{\mathbf{e}}_v(n)\text{\hspace{1em}(2.26)}$$
  根据上式，可以有三种方式求解$\mathbf{h}$:

1.最小化$\mathbf{e}(n)$,这就是上一节维纳滤波的方法
2.最小化噪声${\mathbf{e}}_v(n)$,同时限制语音失真，估计结果会产生稳态剩余噪声，一般不用。
3.最小化语音失真${\mathbf{e}}_x(n)$,同时限制剩余噪声量。子空间使用的方法

由于变换矩阵$\mathbf{h}$并非完美的，这将导致语音失真（式2.26的第一项），第二项是噪声失真。子空间法用数学公式表示是：
$${\mathbf{h}}_{opt}=\arg \underset{\mathbf{h}}{\min }tr\{E[e_x(n)e_x^T(n)]\},且满足tr\{E[{\mathbf{e}}_v(n){\mathbf{e}}_v^T(n)]\}\le L{\delta }^2\text{\hspace{1em}(2.27)}$$
上式中，前一项是信号失真度，后一项是剩余噪声量。
可以使用拉格朗日乘法将上述两项综合起来：
$${\mathbf{H}}_0=\arg \underset{\mathbf{H}}{\min }\ell (\mathbf{H},\mu )\text{\hspace{1em}(2.28)}$$
这里
$$\ell (\mathbf{H},\mu )=tr\{E[{\mathbf{e}}_x(n){\mathbf{e}}_x^T(n)]\}+\mu (tr\{E({\mathbf{e}}_v(n){\mathbf{e}}_v^T(n))\}-\mathbf{L}{\sigma }^2)=tr[(\mathbf{H}-\mathbf{I}）{\mathbf{R}}_x(\mathbf{H}-\mathbf{I}{)}^T]+\mu [tr(\mathbf{H}{\mathbf{R}}_v{\mathbf{H}}^T)-\mathbf{L}{\sigma }^2]\text{\hspace{1em}(2.29)}$$

${\mathbf{R}}_x$和${\mathbf{R}}_v$是语音和噪声的协方差矩阵，$\mu$是拉格朗日乘子。
$$\frac{\partial }{\partial \mathbf{H}}tr({\mathbf{R}}_x\mathbf{H})=\frac{\partial }{\partial \mathbf{H}}tr(\mathbf{H}{\mathbf{R}}_x)={\mathbf{R}}_x^T={\mathbf{R}}_x\text{\hspace{1em}(2.30)}$$

$$\frac{\partial }{\partial \mathbf{H}}tr(\mathbf{H}{\mathbf{R}}_x{\mathbf{H}}^T)=2\mathbf{H}{\mathbf{R}}_x\text{\hspace{1em}(2.31)}$$
$$\frac{\partial }{\partial \mathbf{H}}tr(\mathbf{H}{\mathbf{R}}_v{\mathbf{H}}^T)=2\mathbf{H}{\mathbf{R}}_v\text{\hspace{1em}(2.31)}$$

则可以推导出：
$$\frac{\partial }{\partial \mathbf{H}}\ell (\mathbf{H},\mu )=2\mathbf{H}{\mathbf{R}}_x-2{\mathbf{R}}_x+2\mu \mathbf{H}{\mathbf{R}}_v\text{\hspace{1em}(2.32)}$$

令式2.32等于零，可得$\mathbf{H}$的最优解：
$${\mathbf{H}}_{opt}={\mathbf{R}}_x({\mathbf{R}}_x+\mu {\mathbf{R}}_v{)}^{-1}\text{\hspace{1em}(2.33)}$$
上式中$\mu$满足
$$tr[{\mathbf{R}}_x({\mathbf{R}}_x+\mu {\mathbf{R}}_v{)}^{-1}{\mathbf{R}}_v({\mathbf{R}}_x+\mu {\mathbf{R}}_v{)}^{-1}{\mathbf{R}}_x]=\mathbf{L}{\sigma }^2\text{\hspace{1em}(2.34)}$$

使用广义特征向量法，可以将式2.33重写如下：
KaTeX parse error: \tag works only in display equations
式2.35的另一个理解是将向量空间分解到两个子空间中，语音子空间对于于特征值${\lambda }_i>0$的情况，噪声对应于特征值${\lambda }_i=0$的情况。假设语音子空间的维度是M，则有：
$${\mathbf{H}}_{opt}={\mathbf{B}}^T$$
KaTeX parse error: Got function '\sum' with no arguments as argument to '\mathbf' at position 56: …ix} {\mathbf \̲s̲u̲m̲}&{\mathbf 0_{M…

$\mathbf{K}=\mathbf{L}-\mathbf{M}$是噪声子空间的阶数，
$$\sum =diag(\frac{{\lambda }_1}{{\lambda }_1+\mu },\frac{{\lambda }_2}{{\lambda }_2+\mu },...,\frac{{\lambda }_M}{{\lambda }_M+\mu })\text{\hspace{1em}(2.36)}$$

子空间法降噪就是将噪声子空间值缩小到零，同时时语音子空间获得纯净的语音。
噪声衰减因子是：
$${\xi }_{nr}({\mathbf{H}}_{opt})=\frac{tr\{{\mathbf{R}}_{\mathbf{v}}\}}{tr\{E[{\mathbf{e}}_v(n){\mathbf{e}}_v^T(n)]\}}$$

###频域维纳滤波
使用重叠相加法将时域维纳滤波变换到频域，这样可以获得和时域维纳滤波一样的性能。频域维纳滤波的目标函数的权重解是：
$${\mathbf{H}}_{opt}(i{\omega }_k)=\arg \underset{\mathbf{H}(i{\omega }_k)}{\min }{J}_X[\mathbf{H}(i{\omega }_k)]\text{\hspace{1em}(2.37)}$$
其中：
$$J_X[\mathbf{H}(i{\omega }_k)]=E[|\mathbf{X}(n,i{\omega }_k)-\mathbf{H}(i{\omega }_k)\mathbf{Y}(n,i{\omega }_k){|}^2]\text{\hspace{1em}(2.38)}$$
是频域MSE准则，类似时域解法令$J$对$\mathbf{H}(i{\omega }_k)$求偏导等于零，可以得到最优解。
$${\mathbf{H}}_{opt}(i{\omega }_k)=\frac{E[|X(n,i{\omega }_k){|}^2]}{E[|Y(n,i{\omega }_k){|}^2]}=\frac{P_x({\omega }_k)}{P_y({\omega }_k)}\text{\hspace{1em}(2.39)}$$
其中$P_x$和$P_y$分别是$x(n)$和$y(n)$的功率谱密度。这里可以看出${\mathbf{H}}_{opt}$非负且是实数，这就意味着只改变了信号的幅度并没改变信号的相位。

这样可以得到纯净语音估计是：
$${\hat{\mathbf{X}}}_{opt}={\mathbf{H}}_{opt}\mathbf{Y}(n,i{\omega }_k)={\mathbf{H}}_{opt}\mathbf{X}(n,i{\omega }_k)+{\mathbf{H}}_{opt}\mathbf{V}(n,i{\omega }_k)\text{\hspace{1em}(2.40)}$$
使用DFT逆变换可以得到语音的最优估计${\hat{\mathbf{x}}}_0$,{guj，估计得到的语音功率使用帕斯瓦尔定理可以求得：
$$E[{\hat{x}}_{opt}(n)]=\sum _{k=0}^{L-1}\frac{1}{L}E[|{\hat{X}}_{opt}(n,i{\omega }_k){|}^2]=\sum _{k=0}^{L-1}{\mathbf{H}}_{opt}^2({\omega }_k)P_y({\omega }_k)=\sum _{k=0}^{L-1}\frac{P_x^2({\omega }_k)}{P_y^2({\omega }_k)}{P}_x({\omega }_k)+\sum _{k=0}^{L-1}\frac{P_x^2({\omega }_k)}{P_y^2({\omega }_k)}{P}_v({\omega }_k)\text{\hspace{1em}(2.41)}$$

滤波后的语音语音能量分为两个部分，第一项是经过滤波的纯净语音信号，第二项是经过滤波后端噪声信号能量。

可以得到衰减因子如下：
$${\xi }_{nr}[\mathbf{H}({\omega }_k)]=\frac{\sum _{k=0}^{L-1}{P}_v({\omega }_k)}{\sum _{k=0}^{L-1}\frac{p_x^2({\omega }_k)}{p_y^2({\omega }_k)}{P}_v({\omega }_k)}\text{\hspace{1em}(2.42)}$$
###频谱复原法
在频域，降噪可以看成是从噪声语音谱中估计语音谱的问题。
#####MMSE谱估计
假设噪声和语音是零均值随机过程，其短时傅里叶变换（STFT）系数$X(n,i{\omega }_k)$和$V(n,i{\omega }_k)$同样是零均值。如果将纯净语音 谱分成实部和虚部则有：
$$X(n,i{\omega }_k)=X_R+i{X}_I\text{\hspace{1em}(2.43)}$$
假设实部和虚部是独立的，则$X(n,i{\omega }_k)$估计值如下：
$${\hat{X}}_{MMSE}(n,i{\omega }_k)=E[X(n,i{\omega }_k)|Y(n,i{\omega }_k)]=E[X_R|Y(n,i{\omega }_k)]+iE[X_I|Y(n,i{\omega }_k)]={\hat{X}}_{R,MMSE}+{\hat{X}}_{I,MMSE}\text{\hspace{1em}(2.44)}$$
假设语音实部和虚部独立并且符合高斯分布，使用条件和联合概率密度函数推导后可以得到：
$${\hat{X}}_{MMSE}(n,i{\omega }_k)=\frac{{\sigma }_x^2}{{\sigma }_x^2+{\sigma }_y^2}Y(n,i{\omega }_k)\text{\hspace{1em}(2.45)}$$
####最大似然幅度谱估计
如果降噪相位失真带来的语音失真在任何子带${\omega }_k$上的SNR大于6dB将会影响语音的正确感知。有文献显示语音幅度比相位信息更为重要。从信号处理和语音感知角度来看，可以使用噪声相位做为语音相位，这样单通道噪声估计问题就变成了纯净语音的幅度估计问题。可以使用谱减法进行消噪。

$$Y(n,i{\omega }_k)=X(n,i{\omega }_k)+V(n,i{\omega }_k)=X_k\exp (i{\theta }_{X_k})+V(n,i{\omega }_k)\text{\hspace{1em}(2.46)}$$
则$X_k$的ML可以写成：
$${\hat{X}}_{k,ML}=\arg \underset{X_k}{\max }ln\{p[Y(n,i{\omega }_k)|X_k]\}=\arg \underset{X_k}{\max }ln\{{\int }_{-\pi }^{\pi }p[Y(n,i{\omega }_k)|X_k,{\theta }_{X_k}]p({\theta }_{X_k})d{\theta }_{X_k}\}\text{\hspace{1em}(2.47)}$$
如果噪声谱符合高斯分布，那么上式的条件概率密度可以写为：
$$p[Y(n,i{\omega }_k)|X_k]=\frac{1}{\pi {\sigma }_v^2}\exp [-\frac{Y_k^2+X_k^2}{{\sigma }_v^2}]I_0[\frac{2X_k{Y}_k}{{\sigma }_v^2}]\text{\hspace{1em}(2.48)}$$
####最大似然功率谱估计
ML估计可以由于功率谱估计范畴，假设语音和噪声都符合高斯分布，那么$Y(n,i{w}_k)$也是高斯随机过程，其概率密度函数可以表述如下：
$$p[Y(n,i{\omega }_k)]=\frac{1}{\pi ({\delta }_x^2+{\delta }_v^2)}\exp (-\frac{Y_k^2}{{\delta }_x^2+{\delta }_v^2})\text{\hspace{1em}(2.49)}$$
其对数似然函数如下：
$$\ell =\ln \{p[Y(n,i{\omega }_k)]|{\delta }_x^2,{\delta }_v^2\}=-\ln (\pi )-\ln ({\delta }_x^2+{\delta }_v^2)-\frac{Y_k^2}{{\delta }_x^2+{\delta }_v^2}\text{\hspace{1em}(2.50)}$$
时2.50对${\delta }_x^2$求导并令其等于零，则可以得到最大似然功率谱估计：
$${\hat{\delta }}_{X,ML}^2=Y_k^2-{\delta }_v^2\text{\hspace{1em}(2.51)}$$
这样纯净语音的估计值是：
$${\hat{X}}_{MLP}(n,i{\omega }_k)=\sqrt{{\hat{\delta }}_{X,ML}^2}\exp (i{\theta }_{Y_k})=H_{MLP}({\omega }_k)Y(n,i{\omega }_k)\text{\hspace{1em}(2.52)}$$

###基于语音模型的降噪
核心思想是利用语音生成机制来消除噪声加性噪声，语音模型包括谐波模型，LP模型，HMM模型，MFCC模型等，
####基于谐波模型的降噪
用正弦波极其谐波（音调就是正弦波的基频率）来模拟语音信号，
$$x(n)=\sum _{i=0}^Q{A}_i(n)cos(2\pi f_{i}n+{\varphi }_i)\text{\hspace{1em}(2.53)}$$
$A_i(n),f_i,{\varphi }_i，Q$分别是随时间变换的幅度，频率,第i个声调的初始相位和总谐波数。对于语音信号频率关系实际上是基频以及倍频（在频域里类似的一个概念是频谱平坦度用于区别噪声和语音，共振峰用于语音识别），则可以得到：
$$x(n)=\sum _{i=1}^Q{A}_i(n)cos(2\pi i{f}_{0}n+{\varphi }_i)\text{\hspace{1em}(2.54)}$$
基于以上模型，则麦克风采集到的信号，可以分成具有谐波的语音和噪声，由于语音只在谐波频率上有能量而噪声在谐波间也是有能量的，那么可以使用梳状滤波器滤除噪声。这一公式如下：
$$\hat{x}(n)=y(n)\ast h_{COMB}(n),h_{COMB}(n)=\sum _{i=-K}^K{h}_i\delta (n-N_i),\sum _{i=-K}^K{h}_i=1\text{\hspace{1em}(2.55)}$$

$$N_i=\{\begin{array}{rlr}-\sum _{j=0}^{i-1}{T}_j& & i>0\\ 0& & i=0\\ -\sum _{j=i}^{-1}{T}_j& & i<0\end{array}$$
其中$T_j$是瞬时音调周期，这个算法要求能够准确估计滤波器系数$h_i$(实际上是语音的基频成分)和随时频变换的音调$T_j$。

####基于线性预测的降噪
短时平稳的语音帧可以使用全零点系统来模拟，这种表示语音的模型被称为线性预测模型（也被称为自回归模型）。

###总结
现在一般情况下不会只依赖一特性去降噪，而是上面多维的一个综合以提高程序的鲁棒性。这里有一个链接，可以看一下，对于瞬变（如发动机加速声音）可以使用模板的方式进行消除。
链接: 链接: https://pan.baidu.com/s/1EZcNXV30XEM9L7mdETvdhQ 提取码: neaw