李宏毅深度学习(三):语言模型

最近看了李宏毅老师的深度学习视频课程,真的是讲得十分细致,从头到尾看下来一遍,对深度学习模型有了一个基本的认识,趁着脑子还能记着一些东西,赶紧把学到的东西记录下来,以备后用。
视频地址:https://www.bilibili.com/video/av9770302/from=search&seid=905421046757750252
ppt地址:http://speech.ee.ntu.edu.tw/~tlkagk/courses_MLDS17.html

1、语言模型

语言模型的核心就是预测一个句子或者一组词序列出现的概率,应用有语音辨识。

要怎么得到一组词序列出现的概率呢?我们可以计算这组序列中词的联合概率分布,我们可以用大量的训练集去训练得到这个分布,但是很遗憾的是,通常情况下这组词序列共同出现的句子并不是总会出现,也就是说,我们无法的到这组词序列中的词同时出现的概率。解决这个问题最初的办法就是N-gram,即认为后一个次数的概率仅与前面的N-1个词有关:

屏幕快照 2017-11-18 下午1.22.38.png

我们可以通过一层前向神经网络来训练N-gram:

当然,我们亦可以使用RNN方法,这是对N-gram方法的改进,毕竟RNN可以考虑之前所有的词序列信息,而不是只考虑前N-1个词:

你可能感兴趣的:(李宏毅深度学习(三):语言模型)