语音增强

1.1 语音增强概况

  语音增强，英文名：Speech Enhancement，其本质就是语音降噪，换句话说，日常生活中，麦克风采集的语音通常是带有不同噪声的“污染”语音，语音增强的主要目的就是从这些被“污染”的带噪语音中恢复出我们想要的干净语音。

  语音增强涉及的应用领域十分广泛，包括语音通话、电话会议、场景录音、军事窃听、助听器设备和语音识别设备等，并成为许多语音编码和识别系统的预处理模块。举几个简单的例子，在手机的语音助手中，例如苹果的Siri、微软的小娜属于这其中的佼佼者，他们在近距离（一般工作距离小于1米）、无噪声的环境中进行语音识别，有着较高的语音识别准确率，但是如果我们的声学场景变得更加复杂，比如展会，街道等场景中，噪声的影响会大大降低他们的语音识别准确率，因此进行语音识别的前端降噪显得十分重要。此外，在一些助听器设备中，语音增强技术也有其应用。通常的助听器，只是实现一个语音的基本放大，复杂一些的会进行声压级压缩以实现对患者听觉范围的补偿，但是如果听觉场景比较复杂，患者听到的语音中不仅包含了放大后的语音也包含了很多噪声，时间一长势必会对患者的听觉系统造成二次损害，因此高端的数字助听器设备中，语音降噪也成为了他们不容忽视的一个重要方面。

  语音增强作为数字信号处理的一个分支，已经有了50多年的历史。虽然语音增强技术看似只是一个简单的纯净语音恢复过程，但是其中涉及的知识和算法是广泛而又多样的。在学术界，该领域的研究可以说是“百花齐放，百家争鸣”，既有传统的数字信号处理的方法，又有近几年刚刚兴起的深度学习的方法。经过几十年的发展，学术界也涌现出来了不少大牛，像Rainer Martin、Yariv Ephraim、Israel Cohen、Phillip Loizou以及Sharon Gannot等，这几位前辈在数字信号处理领域的语音增强方法中，起到的十分重要的推动作用。然而，在语音增强的另一个新兴领域：深度学习语音增强，虽然是后起之秀，但是伴随着硬件技术的升级，该技术在工程界得以落地，也使其在语音增强领域站住了脚跟。当然，该技术的发展与“深度学习之父”​Geoffrey Hinton在神经网络结构上取得的重大成果是分不开的。在当今学术界，如果说在该领域，真正占有一席之地的，我个人认为，当属俄亥俄州立大学的汪德亮教授，他的实验室和学生，对深度学习语音增强这一方法的发展起到了十分重要的推动作用。

1.2 语音增强方法分类

  对于语音增强方法的分类，可以按照其运用方法的不同进行分类，于是便可以分成如下两大类：数字信号处理的语音增强方法和基于机器学习的语音增强方法。 其中，数字信号处理的语音增强方法是主流方法，历史悠久，且拥有很深的技术奠基，是目前工程界进行语音降噪的主要思路。而在传统的数字信号处理的方法中，按照其通道数目的不同，又可以进一步划分为：单通道语音增强方法和麦克风阵列的语音增强方法。

  在传统的单通道语音增强方法中，对数字信号处理的知识运用较多，时域和频域的方法都有，以频域处理为主，其中基于短时谱估计的语音增强方法是目前应用最为广泛的语音增强方法，具体的算法可以分为以下三大类：谱减法、维纳滤波法和基于统计模型的方法。除了上述提到的短时谱方法，在单通道的语音增强领域还有一种自适应滤波的方法，但是其需要事先知道噪声或者纯净语音，然后利用随机梯度下降的方式进行最优解的逼近，而在大多数情况下，噪声或者纯净语音等先验知识是无法获得的，因此大大限制了自适应滤波方法的应用，但是该方法在手机通话中的降噪应用比较广泛，通常手机中都会专门用一个降噪麦克风来收取环境中的噪音，以此作为参考输入来实现降噪。此外，在单通道的方法之中，还有一种基于子空间的方法也备受关注，但由于其运算度相对较高，所以在工程中的应用并不算广泛。近些年以来，小波变换的方法发展迅猛，它克服了短时傅里叶变换固定分辨率的缺点，可以获得信号在不同分别率上的信息，在近几年里得到了广泛的应用。

  而在麦克风阵列的语音增强方法中，由于利用了更多的麦克风，考虑了信号的空间信息，因此在抑制特定方向的干扰、进行语音分离等方面，比单通道的语音增强更有优势。麦克风阵列的语音增强方法目前在智能音箱、机器人等领域应用较多，利用其多麦克风的优势，这类产品可以实现在远场和更复杂的声学环境中进行语音增强。主流的麦克风阵列方法有：固定波束形成的方法和自适应波束形成的方法。固定波束形成的应用环境十分受限，但运算复杂度较低，所以一般应用于声学场景固定不变的环境中；而自适应波束形成的方法则表现出更好的鲁棒性，当然这也是以牺牲运算复杂度为代价，目前自适应波束形成方法主要有两大阵营：LCMV结构和GSC结构，如今的麦克风阵列语音增强算法基本上都是基于这两种结构进行地改进和优化。

  基于机器学习的语音增强方法算是奇巧之技，不同于传统的数字信号处理方法，它借鉴机器学习的思路，通过有监督的训练实现语音增强。该领域的算法算是刚刚起步，满打满算也没有二十年的历史，但是“存在即合理”，它之所以能够在语音增强领域占有一席之地，也有其优势所在，例如，在数字信号处理领域的一些比较棘手的问题，比如瞬时噪声的消除，这类方法另辟蹊径，可以较容易地将其解决，因此，这类算法也许会成为未来人工智能时代的语音增强主流方向。如今，运用机器学习的语音增强方法不多，大致梳理一下，可以分成以下几类：基于隐马尔科夫模型的语音增强、基于非负矩阵分解的语音增强、基于浅层神经网络的语音增强和基于深层神经网络的语音增强。其中，基于深度神经网络的语音增强方法，也就是深度学习语音增强，利用深度神经网络结构强大的非线性映射能力，通过大量数据的训练，训练出一个非线性模型进行语音增强，取得了十分不错的效果。此外，该类方法在工程界也刚刚实现落地，华为今年发布的mate10手机，已成功地将该技术应用到了复杂声学环境中的语音通话中，也算是开辟了深度学习应用于语音增强的先河，未来该何去何从，仍需要我们这一代人的不懈努力。

1.3 语音增强入门

  语音增强的方向较多，各方向领域的大牛不同，涉及的知识也不太一样，因此分别给出了不同的语音增强研究方向的大牛和书籍。

1. 传统单通道的语音增强方法：

   Yariv Ephraim 主页：http://ece.gmu.edu/~yephraim/
   
   Rainer Martin 主页：http://www.ruhr-uni-bochum.de/ika/mitarbeiter/martin_publik.htm#2017
   
   Isreal Cohen 主页：http://webee.technion.ac.il/people/IsraelCohen/
   
   Philip Loizou 主页：http://ecs.utdallas.edu/loizou/
   
   推荐书籍:
   《语音增强理论与实践》（Loizou）
   

2. 麦克风阵列的语音增强方法：

   Sharon Gannot 主页：http://www.eng.biu.ac.il/gannot/
   
   Jacob Benesty 主页：http://externe.emt.inrs.ca/users/benesty/
   
   推荐书籍：
   《Wideband Beamforming Concepts and Techniques》（Wei Liu）
   

3. 基于深度学习的语音增强方法：

   汪德亮主页：http://web.cse.ohio-state.edu/~wang.77/index.html
   
   推荐学习：
   吴恩达深度学习在线课程：http://mooc.study.163.com/smartSpec/detail/1001319001.htm
   博士论文：《基于深层神经网络的语音增强方法研究》（徐勇 2015）