语音算法笔记（4）——语音识别前沿课题

声明：本专栏文章为深蓝学院《语音算法：前沿与应用》课程个人学习笔记，更多学习资源请咨询深蓝学院相关课程。

远场语音识别

siri（2011）：近场语音识别

echo（亚马逊，2014）：远场语音识别

当说话人和麦克风相离3-5米时，可以认为是远场语音识别。

困难：1.背景噪声 2.扬声器音乐干扰 3.麦克风灵敏度 4.墙面折射声波 5.声波漫射

解决方法：

1.数据增强——加混响（卷积）、加噪声（时域叠加，调节噪声能量，控制信噪比）、音量扰动（训练数据音量随机放大或缩小）、速度扰动（改变速度tempo参数、音调speed参数）、时域mask、频域mask，可参考ASplRE竞赛

2.做信号处理，提高输入音频的质量——AEC（设备知道播放的是什么音乐，可以把音乐减掉）、AGC(测试数据的音量归一化)、BF（多路麦克风的情况）、NS（提高信噪比方式）

AEC：

AEC技术问题：时间延迟估计（声源和扬声器位置不同）、双讲模块、回声残留， etc

AGC：

AGC同时影响信号和噪声，所以不改变信噪比。

BF：

BF有很多不同的算法，其中声音方向判断是重要的模块。

NF：

NF有多种不同的算法，VAD（voice activity detection）很重要，噪声抑制会对输入音频造成损伤，所以直接把噪声抑制的信号处理模块和语音识别算法结合起来，结果会变差，所以一般需要一些fine-tune。

端对端的远场语音识别

能不能把信号处理模块和语音识别放在一起呢？

去混响算法：WPE，可以用神经网络代替——用神经网络计算spectrum。

BF算法：MVDR（最小化噪声）、GEV（最大化信噪比），都需要计算PSD，可以用神经网络代替

一个端对端远场语音识别的例子：

、

目前工业界传统信号处理模块和端对端算法都在使用。

Mix-lingual语音识别

1. Multi-lingual：不同语言数据集

2. cross-lingual：不同语言训练集，一种额外语言的测试集

3. mix-lingual：“我在读paper”，“我朋友在google工作”，“我收到的验证码是ABC123"

如何构建中英文混杂的语音识别系统？

如果用端对端的话，中英文都会被映射到字符，会简单很多。

传统语音识别：mixed phone set——独特的英文元音，中文元音（带音调）、中文辅音、shared phone、SIL、SPN（spoken noise）、NSN（non-spoken noise汽车噪声等）

英文：常用词典CMU dictionary，拼写单词（APP、API）等，G2P（发音生成，可以用Phonetisaurus）

中文：制作词典，字、词查找

可参考ASRU Code-mix 竞赛，评判标准：MER（mixed error rate），中文CER，英文WER

低资源语音识别

"Low resource?"：low computation resource？、low data resource？

只有300到500小时数据，如何提高训练效果？

1. 做数据增强
2. 用其他multi-lingual数据，神经网络shared layers
3. 领域adaptation
4. 半监督学习：生成标签，再做标签清洗
5. 无监督学习：pre-training