语言模型：n-gram语言模型和神经网络语言模型

---

n-gram语言模型

什么是n-gram语言模型：n-gram语言模型是基于统计建立的，可以由此计算概率的模型。

计算不同的概率使语言模型有两种应用：

1. 计算一个句子的合理程度。
2. A language model can take a list of words, and attempt to predict the word that follows them. 即通过一些预先输入的词预测下一个词，如输入法的预测功能。

---

应用1：

计算概率：
$$P(w_1{w}_2{w}_3...w_m)（1）$$
根据链式法则，计算式（1）即为计算：
$$P(w_1{w}_2{w}_3...w_m)=P(w_1)P(w_2|w_1)P(w_3|w_1{w}_2)...P(w_m|w_1{w}_2{w}_3...w_{m-1})(2)$$
为了简化计算，通常会利用多阶马尔可夫链的假设，即每次状态的转移只与前几个（通常为1或2）状态有关。于是产生了n-gram语言模型。

当n等于1时，式（2）被简化为：
$$P(w_1{w}_2{w}_3...w_m)=\prod _{i=1}^{m}P(w_i),n=1$$
当n等于2时，式（2）被简化为：
$$P(w_1{w}_2{w}_3...w_m)=\prod _{i=2}^{m}P(w_i|w_{i-1})P(w_1),n=2$$
当n等于3时，式（2）被简化为：
$$P(w_1{w}_2{w}_3...w_m)=\prod _{i=3}^{m}P(w_i|w_{i-2}{w}_{i-1})P(w_2|w_1)P(w_1),n=3$$
在现实计算时，式子中的概率都会基于统计得出。

---

应用2：

当使用n-gram语言模型时：
$$P(w_i|w_1{w}_2{w}_3...w_{i-1})=P(wi|w_{i-n+1}{w}_{i-n+2}...w_{i-1})=\frac{Count(w_{i-n+1}{w}_{i-n+2}...w_i)}{Count(w_{i-n+1}{w}_{i-n+2}...w_{i-1})}$$
最大时的w_i为语言模型预测的下一个词。

---

神经网络语言模型（NNLM）

如上图，NNLM首先对单词用one-hot编码，然后乘矩阵Q获得向量C(Wi)，然后把C(Wi)拼接起来，经过hidden layer，然后接softmax去预测后面的单词。

可以看到，NNLM和word2vec很像，NNLM的“副产品”矩阵Q就是word2vec想要得到的分布式表示。不过NNLM和word2vec在构造训练集时有很大差别，虽然都使用了n-gram，但NNLM只关注一个词及其之前的n-1个词，而word2vec关注一个词及其周围的词，来得到该词的context.

---

参考资料：
[1]: NNLM: https://mp.weixin.qq.com/s/p16IEzlaDGRNt8h6WkP-dQ
[2]: n-gram LM: https://zhuanlan.zhihu.com/p/32829048