自然语言处理——5.3 语言模型（数据平滑）

基本思想

• 数据平滑的基本思想
  调整最大似然估计的概率值,使零概率增值，使非零概率下调，“劫富济贫”，消除零概率，改进模型的整体正确率。

• 基本目标
  测试样本的语言模型困惑度越小越好。

• 基本约束
  

困惑度定义：

• 对于一个平滑的 n-gram，其概率为，可以计算句子的概率:
• 假定测试语料由个句子构成,那么整个测试集的概率为：
• 模型对于测试语料的交叉熵：
  
  其中， 是测试文本 的词数。
• 模型 p 的困惑度 定义为：
  PS: n-gram 对于英语文本的困惑度范围一般为50～1000，对应于交叉熵范围为6～10 bits/word。

数据平滑方法1——加1法(Additive smoothing )

• 基本思想: 每一种情况出现的次数加1。
  例如，对于 uni-gram，设 三个词，概率分别为：1/3, 0, 2/3，加1后情况？
  
• 举例
  John read Moby Dick
  Mary read a different book
  She read a book by Cher
  词汇量：|V|＝11
  平滑以后：
  p(Cher|) = (0+1)/(11+3) = 1/14
  p(read|Cher) = (0+1)/(11+1) = 1/12
  p(a|read) = (1+2)/(11+3) = 3/14
  p(book|a) = (1+1)/(11+2) = 2/13
  p(|book)= (1+1)/(11+2) = 2/13
  

数据平滑方法2——减值法/折扣法(Discounting)

1. 基本思想:

修改训练样本中事件的实际计数，使样本中(实际出现的)不同事件的概率之和小于1，剩余的概率量分配给未见概率。

2. Good-Turing 估计

• 基本思想

假设 是原来训练样本数据的大小， 是在样本中正好出现 次的事件的数目(此处事件为 n-gram)，即出现 1 次的n-gram有 个，出现 2 次的 n-gram 有个, ……，出现 次的有 个。
那么：
由于我们要减小r,记为：：，所以：
那么，Good-Turing估计在样本中出现r次的事件的概率为：

• 举例说明

假设有如下英语文本，估计2-gram概率：
John read Moby Dick
Mary read a different book
She read a book by Cher
……
从文本中统计出不同 2-gram 出现的次数：
John 15
Mary 10
……
read Moby 5
……

假设要估计以 read 开始的 2-gram 概率，列出以read开始的所有 2-gram，并转化为频率信息：

得到后，便可计算概率：

其中，N 为以 read 开始的bigram的总数(样本空间)，即read出现的次数。那么，以 read开始，没有出现过的 2-gram的概率总和为：

以read作为开始，没有出现过的 2-gram的个数等于：，其中，为语料的词汇量。

那么，没有出现过的那些 以read为开始的概率平均为：

注意：

因此，需要归一化处理：

3. Back-off (后备/后退)方法

• 基本思想

S. M. Katz于1987年提出，所以又称Katz后退法。
当某一事件在样本中出现的频率大于阈值K (通常取K 为0 或1)时，运用最大似然估计的减值法来估计其概率，否则，使用低阶的，即(n-1)gram 的
概率替代n-gram 概率，而这种替代需受归一化因子的作用。

• Back-off 方法的另一种理解:

对于每个计数 r > 0 的n元文法的出现次数减值, 把因减值而节省下来的剩余概率根据低阶的(n-1)gram 分配给未见事件。

• 举例说明

4. 绝对减值法(Absolute discounting )

• 基本思想

从每个计数 中减去同样的量，剩余的概率量由未见事件均分。
设 为所有可能事件的数目(当事件为n-gram 时，如果统计基元为词，且词汇集的大小为, 则 )。

那么，样本出现了r次的事件的概率可以由如下公式估计：

其中， 为样本中未出现的事件的数目。 为减去的常量，。 是由于减值而产生的剩余概率量。 为样本中出现了 次的事件总次数：。

为自由参数，可以通过留存数据(heldout data)方法求得 的上限为：

5. 线性减值法(Linear discounting )

• 基本思想

从每个计数 中减去与该计数成正比的量(减值函数为线性的)，剩余概率量被个未见事件均分。

自由参数 的优化值为：

绝对减值法产生的n-gram 通常优于线性减值法。

6. 四种减值法的比较

数据平滑方法3——删除插值法(Deleted interpolation)

• 基本思想:
  用低阶语法估计高阶语法，即当 3-gram 的值不能从训练数据中准确估计时，用 2-gram 来替代， 同样，当 2-gram 的值不能从训练语料中准确估计时， 可以用 1-gram 的值来代替。插值公式：
  
  其中

• 的确定

将训练语料分为两部分，即从原始语料中删除一部分作为留存数据(heldout data)。
第一部分用于估计和 。
第二部分用于计算：使语言模型对留存数据的困惑度最小。