[论文笔记] Deep Speech: Scaling up end-to-end speech recognition

论文题目：Deep Speech: Scaling up end-to-endspeech recognition
作者信息：Awni Hannun∗, Carl Case, Jared Casper, Bryan Catanzaro, Greg Diamos, Erich Elsen,Ryan Prenger, Sanjeev Satheesh, Shubho Sengupta, Adam Coates, Andrew Y. Ng
所属机构：Baidu Research – Silicon Valley AI Lab
论文链接：https://arxiv.org/pdf/1412.5567.pdf

目录

1. 摘要
2. 模型结构
3. 优化工作
4. 实验结果

1. 摘要

这篇论文是2014年吴恩达在Baidu AI Lab 期间所发布的，从论文的摘要就可以知道，作者抛弃了传统的语音识别模型框架，转向了基于深度学习的端到端的语音识别模型框架：抛弃原先的特征工程，如：MFCC；抛弃音素词典，抛弃音素这一概念；采用 RNN 网络（2010后，深度学习在语音识别领域开始受到广泛的关注，这篇文章在当时是比较前沿的论文）。
除了作者所提出的模型结构，论文的工程实现和优化工作做的非常的好，这也使得这个模型能在如此大的训练数据集上跑起来。

2. 模型结构

总体来看，模型结构由两部分组成：

AM(Acoustic Model，声学模型) : Bi-directional RNN (其中，loss function 为 CTC，optimizer 为 NAG，即Nesterov Accelerated Gradient)
LM (Language Model，语言模型) : N-gram（作者利用 KenLM 训练该模型）

我们重点来看一下声学模型部分：

model input : speech spectrograms，即语音的频谱图
model output : English text transcripts ，即英文文本
loss function : CTC loss
optimizer : Nesterov Accelerated Gradient method

该模型一共有五层 hidden layer，除了第四层外，其余层都不是 recurrent layer，第四层为 bi-direnctional layer。

前三层的计算公式为：
$$h_t^{(l)}=g(W^{(l)}{h}_t^{(l-1)}+b^{(l)})$$

其中, $l\in [1,3]$, $g(z)=min\{max\{0,z\},20\}$,$W^{(l)}$和$b^{(l)}$是第$l$层的权重矩阵和偏置参数。

第四层的计算公式为：
$$h_t^{(f)}=g(W^{(4)}{h}_t^{(3)}+W_r^{(f)}{h}_{t-1}^{(f)}+b^{(4)}),h_t^{(b)}=g(W^{(4)}{h}_t^{(3)}+W_r^{(b)}{h}_{t+1}^{(b)}+b^{(4)})$$

其中，$h^{(f)}$从前往后计算，$h^{(b)}$从后往前计算。

第五层的计算公式为：
$$h_t^{(5)}=g(W^{(4)}{h}_t^{(4)}+b^{(5)})$$

其中，$h_t^{(4)}=h_t^{(f)}+h_t^{(b)}$。

最后，output layer 是一个标准的 softmax function：
$$h_{t,k}^{(6)}=\frac{exp(W_k^{(6)}{h}_t^{(5)}+b_k^{(6)})}{{\sum }_j^{}exp(W_j^{(6)}{h}_t^{(5)}+b_j^{(6)})}$$

其中，$h_{t,k}^{(6)}$ 表示模型预测第t帧语音所对应的字母为字典中第k个字母的概率。

（注意： 文中第四层所用 RNN cell 为 GRU，作者出于计算资源和存储空间的考虑，未采用LSTM）

3. 优化工作

1. 数据并行化

这一部分其实就是利用 GPU 进行并行计算，作者将相同长度的训练数据放入一个minibatch中，必要时作者向训练数据中 padding with slience 以使得 batch 中的数据的长度相同。

2. 模型并行化

从上文可知，模型中的第四层 hideen layer 为 bi-directional recurrent layer，由于其序列化的特点（计算 t 时刻的状态，得先计算 t-1 时刻得状态），我们其实很难做到模型并行化的。

为此，作者的解决办法如下：
假设所处理的训练数据长度为 $T$，采用两个 $GPU$，分别为 $GP{U}_1$ 和 $GP{U}_2$。
在前半部分处理过程中，$GP{U}_1$ 计算 $h_t^{(f)}$（其中，$t\in [1,T/2]$），$GP{U}_2$ 计算 $h_t^{(b)}$（其中，$t\in [T/2+1,T]$）。
在处理完前半部分后，$GP{U}_1$ 和 $GP{U}_2$ 交换 $h_{T/2}^{(f)}$ 和 $h_{T/2}^{(b)}$。
接着，$GP{U}_1$ 计算 $h_t^{(b)}$（其中，$t\in [1,T/2]$），$GP{U}_2$ 计算 $h_t^{(f)}$（其中，$t\in [T/2+1,T]$）.

3. 其他

(1) 作者在模型参数正则化部分，对 feed-forward layer 采用了 5%-10% 的 dropout；同时，也对输入随机的进行jittering。
(2) 作者为使模型更好的克服语音识别中经常出现的背景噪音问题，通过叠加背景噪音，合成大量含有噪音的训练数据（原训练数据为 5000 hours of read speech from 9600 speakers） 。其中，合成公式为：${\hat{x}}^{(i)}=x^{(i)}+{\xi }_1^{(i)}+{\xi }_2^{(i)}+....$。
(3) 作者为使模型更好的克服语音识别中经常出现的隆巴德效应(Lombard Effect)，让 speakers 戴着播放噪音的听筒进行说话。

4. 实验结果

参考资料：

• Deep Speech：端到端的语音识别
• Deep Speech笔记

如果你看到了这篇文章的最后，并且觉得有帮助的话，麻烦你花几秒钟时间点个赞，或者受累在评论中指出我的错误。谢谢！

作者信息：
知乎：没头脑
LeetCode：Tao Pu
CSDN：Code_Mart
Github：Bojack-want-drink