NLP中的n-gram模型

1. 什么是语言模型

什么是语言模型？简单地说，语言模型就是用来计算一个句子的概率的模型，也就是判断一句话是否合理的概率。

• 标准定义：对于语言序列,语言模型就是计算该序列的概率，即
• 从机器学习的角度来看：语言模型是对语句的概率分布的建模。
• 通俗解释：判断一个语言序列是否是正常语句，即是否是人话，例如:

2. n-gram模型

2.1 什么是n-gram模型

N-gram是一种基于统计语言模型的算法，它的基本思想是将文本里面的内容按照字节进行大小为N的滑动窗口操作，形成了长度是N的字节片段序列。

每一个字节片段称为gram，对所有gram的出现频度进行统计，并且按照事先设定好的阈值进行过滤，形成关键gram列表，也就是这个文本的向量特征空间，列表中的每一种gram就是一个特征向量维度。

该模型基于这样一种假设，第N个词的出现只与前面N-1个词相关，而与其它任何词都不相关，整句的概率就是各个词出现概率的乘积。 这些概率可以通过直接从语料中统计N个词同时出现的次数得到。常用的是二元的Bi-Gram和三元的Tri-Gram。

2.2 n-gram评价语句是否合理

如果我们有一个由 m 个词组成的序列（或者说一个句子），我们希望算得概率 ，根据链式规则，可得
对于任意长度的自然语言语句，根据极大似然估计直接计算
显然不现实，不妨不妨利用马尔科夫链的假设，即当前这个词仅仅跟前面几个有限的词相关，因此也就不必追溯到最开始的那个词，这样便可以大幅缩减上述算式的长度。

基于上式，定义n-gram语言模型如下：

处理第一个单词前面无单词：
其中， 当 n>1 时，为了使句首词的条件概率有意义，需要给原序列加上一个或多个起始符 <\s> 可以说起始符的作用就是为了表征句首词出现的条件概率。

在给定的训练语料中，利用贝叶斯定理，将上述的条件概率值（因为一个句子出现的概率都转变为右边条件概率值相乘了）都统计计算出来即可。下面会给出具体例子讲解。这里先给出公式：

其中，C（.）表示子序列在训练集中出现的次数。
对第一个进行解释，后面同理,如下：

2.3 n-gram模型小结

总结下基于统计的 n-gram 语言模型的优缺点：

优点：(1) 采用极大似然估计，参数易训练；(2) 完全包含了前 n-1 个词的全部信息；(3) 可解释性强，直观易理解。

缺点：(1) 缺乏长期依赖，只能建模到前 n-1 个词；(2) 随着 n 的增大，参数空间呈指数增长；(3) 数据稀疏，难免会出现OOV的问题；(4) 单纯的基于统计频次，泛化能力差。

参考：

自然语言处理中N-Gram模型介绍
深入理解语言模型 Language Model
了解N-Gram模型
一文搞懂极大似然估计
通俗解释困惑度 (Perplexity)-评价语言模型的好坏