语言模型笔记

参考n-gram：

https://blog.csdn.net/songbinxu/article/details/80209197

（n-gram、NNLM、RNNLM、word2vec）

本篇讲述语言模型及重要的几个概念，nlp基础补一下。

语言模型概念

LM（language model）

语言模型用来判断：是否一句话从语法上通顺。

通过概率来判断

链式法则CHAIN RULE

联合概率通过条件概率和边缘概率来表达

马尔科夫假设

Markov Assumption

是什么？

一件事情发生仅与最近的几次相关性大

为什么要用？

一个这么长的句子出现的次数肯定很少，导致概率稀疏性，也就是0.

也就是右边句子很长，概率大部分都是0.

解决：

最大似然估计

上面的p概率怎么计算？就是用MLE。

语言模型--unigram

语言模型--Bigram

语言模型--N-gram

unigram：Estimating Probability

评估语言模型

不依赖任何任务、场景

语言模型修正：平滑

语言模型修正：插值