CS224n笔记12 语音识别的end-to-end模型

本文转自:http://www.hankcs.com/nlp/cs224n-end-to-end-asr.html

  这次斯坦福请到了深度学习教父Hinton的弟子Navdeep来讲语音识别,他正在英伟达工作,怪不得N卡在深度学习中的地位如此之高。而他本人也在用Dell的搭载了N卡的XPS跑Ubuntu,一改以往“讲台必定信仰灯”的局面。

Automatic Speech Recognition(ASR)

ASR就是将声学信号转化为文本的系统。

CS224n笔记12 语音识别的end-to-end模型_第1张图片

语音是一种自然的用户接口:

CS224n笔记12 语音识别的end-to-end模型_第2张图片

传统ASR

传统做法的主体是生成式语言模型,建模声学信号与文本的发音特征的联合概率,但pipeline的不同部分掺杂了不同的机器学习模型:

CS224n笔记12 语音识别的end-to-end模型_第3张图片

近现代ASR

神经网络兴起之后,人们发现传统pipeline中的每个模型都可以被一种对应的神经网络所替代,并且取得更好的效果:

CS224n笔记12 语音识别的end-to-end模型_第4张图片

但是这么多混乱的目标函数各自为政,难免有顾此失彼的情况。这构成一种动机,为什么不用一个统一的大模型来取代这盘散沙呢?

end-to-end ASR

直接从音频到字符的概率模型$p(Y|X)$:

CS224n笔记12 语音识别的end-to-end模型_第5张图片

(上半部分与生成式模型作对比)

Connectionist Temporal Classification

这是一种强大的概率模型,特别适用于语音识别。其主体是一个Bidirectional RNN,上面是一层softmax。

CS224n笔记12 语音识别的end-to-end模型_第6张图片

词表中还有一个空格,这很重要。

由于语音片段(帧)切割时的随意性,可能导致一个字符c被切割为多个帧,每个帧都输出c。为了区分字符与字符的界限,所以引入空格分隔符。在解码的时候还需要限制字符只能转移到相同的字符,或者空格。

CS224n笔记12 语音识别的end-to-end模型_第7张图片

解码时的直观演示:

CS224n笔记12 语音识别的end-to-end模型_第8张图片

灰色线条表示无输出的概率。

一些效果

CS224n笔记12 语音识别的end-to-end模型_第9张图片

CS224n笔记12 语音识别的end-to-end模型_第10张图片

CS224n笔记12 语音识别的end-to-end模型_第11张图片

可见识别结果听上去挺像那么回事,可拼写不正确。Google通过在训练时集成语言模型进去修正了这些问题。而且不再使用字符级别,而是使用单词级别的大词表,识别出可能的单词后,用语言模型挑出最可能的句子。

CS224n笔记12 语音识别的end-to-end模型_第12张图片

虽然这是个end-to-end模型,但还是掺杂了一个语言模型。没有语言模型的帮助,该CTC模型无法根据已识别的单词做条件调整下次预测。

sequence to sequence speech recognition with attention

让语言模型也成为模型天然的一部分,将音频视作sequence,文本视作另一个sequence,类似于NMT中的encoder-decoder,LSTM模型根据之前的y和全部x预测下一个y:

CS224n笔记12 语音识别的end-to-end模型_第13张图片

一下子把x都喂进去后,对于很长的序列来讲,需要做attention,在不同的时刻关注输入的不同部分:

CS224n笔记12 语音识别的end-to-end模型_第14张图片

由于是RNN,所以输入x依然不是定长的。

Listen Attend and Spell

定义score函数,接受每个历史时刻的encoder隐藏状态$h_t$和decoder的当前状态$s$,得到当前应当对每个历史时刻倾注多少注意力。softmax归一化,加权和得到最终的context vector,参与预测。

CS224n笔记12 语音识别的end-to-end模型_第15张图片

这里的encoder是树形的,因为对于较长的语音来讲,要softmax的timestep实在太多,效率不高、模型注意力被分散。通过用softmax把相邻的timestep总结一下,提高了效率和效果。

这个模型是强大的,学习到了很多pattern:

CS224n笔记12 语音识别的end-to-end模型_第16张图片

还可能产生一个读音的不同拼写(取决于早期的预测结果,然后导致不同的attention):

CS224n笔记12 语音识别的end-to-end模型_第17张图片

CS224n笔记12 语音识别的end-to-end模型_第18张图片

效果

得到的效果虽然没有超越多年优化的旧模型,但也是一个量级的:

CS224n笔记12 语音识别的end-to-end模型_第19张图片

LAS的限制

  • 必须等到用户说完话之后才能开始识别

  • attention是计算瓶颈

  • 输入的长度对准确率影响特别大

CS224n笔记12 语音识别的end-to-end模型_第20张图片

在线seq2seq模型

希望能够即时产生输出,并且不需要在整个sequence上分配attention。

Neural Transducer

根据一个定长的输入序列片段产生输出,不要要前一个输出,依然需要空白符,依然需要alignment(哪些字母属于一个词):

CS224n笔记12 语音识别的end-to-end模型_第21张图片

用空白符隔开的区块只是一个字符,究竟哪些字符成词,又回到了老生常谈的“分词”问题上来。这里采用了柱搜索找出最可能的路径。

CS224n笔记12 语音识别的end-to-end模型_第22张图片

训练的时候理论上有一个非常复杂的对数似然的梯度,但实际上经常只取对齐,不做识别上的求和:

CS224n笔记12 语音识别的end-to-end模型_第23张图片

对齐的过程类似viterbi,但并不严格是,我们是在找最优路径,但路径与之前的每个选择都有关。柱搜索不太理想,如果记录到每个block(字符)为止产生特定数量token的最大概率,则可以用动态规划解决:

CS224n笔记12 语音识别的end-to-end模型_第24张图片

结果

CS224n笔记12 语音识别的end-to-end模型_第25张图片

在有attention的情况下,窗口大小影响不大;而在无attention的情况下,窗口较小效果较好。

Encoder中的卷积

与其简单地层叠两个timestep,不如喂给很深的卷积网络:

CS224n笔记12 语音识别的end-to-end模型_第26张图片

效果显著:

CS224n笔记12 语音识别的end-to-end模型_第27张图片

目标颗粒度

有很多选择:

CS224n笔记12 语音识别的end-to-end模型_第28张图片

但对语音识别来讲,更有用的是字符的ngram(相当于音节):

CS224n笔记12 语音识别的end-to-end模型_第29张图片

它们有指数级的组合可能,不清楚哪一种是最好的:

CS224n笔记12 语音识别的end-to-end模型_第30张图片

对于end-to-end模型来讲,常用的手法是由模型自动决定ngram的分割:

CS224n笔记12 语音识别的end-to-end模型_第31张图片

效果

CS224n笔记12 语音识别的end-to-end模型_第32张图片

上表的ngram代表“最大产生ngram”的意思。

CS224n笔记12 语音识别的end-to-end模型_第33张图片

模型缺点

在句子开头和人名地名处困惑度较高:

CS224n笔记12 语音识别的end-to-end模型_第34张图片

在词语分界处的错误自信会导致搜索时的错误,连语言模型也无力回天。

解决办法

通过惩罚softmax输出概率1来Entropy Regularization正则化模型,可以克服这个问题:

CS224n笔记12 语音识别的end-to-end模型_第35张图片

与其直接ER,不如让输出的分布尽量与Unigram的分布相似,这样效果更好了。

另一个缺点

另一个问题是,模型偏向于惩罚生成很长的输出,这对很长的输入来讲会出现提前终止输出的情况:

CS224n笔记12 语音识别的end-to-end模型_第36张图片

比如:

CS224n笔记12 语音识别的end-to-end模型_第37张图片

解决办法是在预测时惩罚那些不看输入的情况,未处理的输入越多,惩罚越大。

这种粗暴的方法还是取得了一些效果提升:

CS224n笔记12 语音识别的end-to-end模型_第38张图片

Better Language Model Blending

标注音频-字幕数据毕竟不如海量的未标注文本多,而end-to-end模型是一个自治的大模型,内部隐式地存在通过标注数据学习到的语言模型。在哪里如何与外部语言模型混合呢?

答案是在decoder的softmax预测结果的对数概率上线性混合:

CS224n笔记12 语音识别的end-to-end模型_第39张图片

还有很多种混合手段,也是个新的前沿课题。

Better Sequence Training

上节课提到的ground truth问题,除了scheduled sampling之外,还有一些拓展。比如Reinforement Learning之类(草草提了两句)。

机会

一些研究方向了。

多音源

鸡尾酒舞会上有很多人说话,能否都识别出来呢?以前的生成式模型心中有一个固定的模式去生成数据与输入对比,不适合这个任务。现在常用的判别式模型反过来,以输入特征预测结果,应该可以做出以前做不到的成绩。

CS224n笔记12 语音识别的end-to-end模型_第40张图片

"同声传译"

接受法语音频,直接输出英文文本。相当于将上面提到的模型与MT模型blend到一起了:

CS224n笔记12 语音识别的end-to-end模型_第41张图片

两者分别对原文和音频的对齐是非常类似的:

CS224n笔记12 语音识别的end-to-end模型_第42张图片

转载于:https://www.cnblogs.com/koocn/p/7701653.html

你可能感兴趣的:(人工智能,数据结构与算法)