李宏毅深度学习(三):语言模型

最近看了李宏毅老师的深度学习视频课程，真的是讲得十分细致，从头到尾看下来一遍，对深度学习模型有了一个基本的认识，趁着脑子还能记着一些东西，赶紧把学到的东西记录下来，以备后用。
视频地址：https://www.bilibili.com/video/av9770302/from=search&seid=905421046757750252
ppt地址：http://speech.ee.ntu.edu.tw/~tlkagk/courses_MLDS17.html

1、语言模型

语言模型的核心就是预测一个句子或者一组词序列出现的概率，应用有语音辨识。

要怎么得到一组词序列出现的概率呢？我们可以计算这组序列中词的联合概率分布，我们可以用大量的训练集去训练得到这个分布，但是很遗憾的是，通常情况下这组词序列共同出现的句子并不是总会出现，也就是说，我们无法的到这组词序列中的词同时出现的概率。解决这个问题最初的办法就是N-gram，即认为后一个次数的概率仅与前面的N-1个词有关：

屏幕快照 2017-11-18 下午1.22.38.png

我们可以通过一层前向神经网络来训练N-gram：

当然，我们亦可以使用RNN方法，这是对N-gram方法的改进，毕竟RNN可以考虑之前所有的词序列信息，而不是只考虑前N-1个词：