手算KN-based ngram语言模型
什么是ngram语言模型
语言模型是NLP中最最基础的模块，从传统基于统计的ngram语言模型，再到基于深度学习的CNN，RNN语言模型，再到现在基于tranformer的预训练语言模型，每次语言模型的发展都能给整个NLP领域带来巨大推动。
由于传统的ngram语言模型具备原理简单，推断速度快等特点，所以至今依然在广泛应用在众多NLP任务中，尤其在计算资源受限的移动端。本文将系统介绍ngram语言模型的内部原理，计算方法及相关工具。
ngram语言模型计算方法
给定一句话:
对于其中的每一小项
这里
理论上语料足够充足，就可以很好的用频率直接估计出概率，但实际操作中对于较长的序列
ngram语言模型的核心就在于一个强假设：当前词的概率分布只与前N-1个词有关，即：
本质上 N-gram 模型的假设类似于马尔可夫链当中的 N-1 阶马尔可夫性假设。通常情况下n=1,2,3。对于再高阶的4-gram，5-gram就很少见，因为需要非常大的语料才能训练充分高阶的语言模型，而且模型本身的体积也会非常大（占内存）。
- 当n=1时为unigram：当前词的概率分布与历史信息无关
- 当n=2时为bigram：当前词的概率分布只和前一个词有关
- 当n=3时为trigram：当前词的概率分布只和前两个词有关
所以假设n=2，p(处理| {我, 爱, 自然, 语言}) = p(处理| 语言) = #{语言, 处理} / #{语言} ，这样相对而言就可算了。
基于kenlm的ngram语言模型训练
运用ngram语言模型目前最便捷的工具就是kenlm，可快速实现语言模型的训练与应用。
首先准备一份语言模型训练语料（test_corpus.txt）注意每个词之前需要空格分割，如果训练基于字的语言模型，则每个字之前用空格分割。
模型
语言 模型
传统
模型
语言
关于kenlm的安装网上有很多教程，实际操作的过程中也确实有坑，为了避免踩坑，可直接采用docker来获得已安装了kenlm的环境。具体参见：GitHub - nghuyong/kenlm-docker: docker for kenlm 。下面采用kenlm训练一个bigram语言模型：
# 拉取镜像
docker pull nghuyong/kenlm
# 启动并进入容器
docker run -it -v $(pwd):/var nghuyong/kenlm bash
# 容器内训练kenlm
./lmplz -o 2 --verbose_header --text /var/test_corpus.txt --arpa /var/arpa.kenlm
这样就完成了语言模型的训练，并获得arpa模型文件。
下面是输出的apra文件
# Input file: /var/test_corpus.txt
# Token count: 6
# Smoothing: Modified Kneser-Ney
\data\
ngram 1=6
ngram 2=7
\1-grams:
-0.89085555 0
0 -0.22184873
-0.89085555 0
-0.46488678 模型 0
-0.69896996 语言 -0.30103
-0.69896996 传统 -0.30103
\2-grams:
-0.89085555 模型
-0.50267535 语言
-0.24850096 传统
-0.44889864 模型
-0.37527603 语言 模型
-0.56863624 语言
-0.6575773 传统
\end\
可以看到生成的arpa文件包括ngram的统计值以及ngram的概率。基于这份arpa文件就可以计算一句话的概率分布了。
再看一下kenlm训练过程输出的日志情况：
=== 1/5 Counting and sorting n-grams ===
Reading /data/mm64/rightyonghu/code/kenlm/build/bin/test_corpus.txt
----5---10---15---20---25---30---35---40---45---50---55---60---65---70---75---80---85---90---95--100
****************************************************************************************************
Unigram tokens 6 types 6
=== 2/5 Calculating and sorting adjusted counts ===
Chain sizes: 1:72 2:33536714342
Statistics:
1 6 D1=0.5 D2=0.5 D3+=3
2 7 D1=0.5 D2=1.25 D3+=3
Memory estimate for binary LM:
type B
probing 292 assuming -p 1.5
probing 320 assuming -r models -p 1.5
trie 226 without quantization
trie 1235 assuming -q 8 -b 8 quantization
trie 226 assuming -a 22 array pointer compression
trie 1235 assuming -a 22 -q 8 -b 8 array pointer compression and quantization
=== 3/5 Calculating and sorting initial probabilities ===
Chain sizes: 1:72 2:112
----5---10---15---20---25---30---35---40---45---50---55---60---65---70---75---80---85---90---95--100
####################################################################################################
=== 4/5 Calculating and writing order-interpolated probabilities ===
Chain sizes: 1:72 2:112
----5---10---15---20---25---30---35---40---45---50---55---60---65---70---75---80---85---90---95--100
####################################################################################################
=== 5/5 Writing ARPA model ===
----5---10---15---20---25---30---35---40---45---50---55---60---65---70---75---80---85---90---95--100
****************************************************************************************************
Name:lmplz VmPeak:33297604 kB VmRSS:3344 kB RSSMax:8928344 kB user:0.484 sys:3.636 CPU:4.12075 real:4.12281
根据日志可以看出，kenlm在训练语言模型时候分成了5个主要步骤：统计并排序ngram，计算并排序调整就计数，计算并排序初始概率，计算并写入差值概率以及生成arpa模型文件。
下面我们就将细致拆解这个几个步骤，给定语料，硬核的手算出arpa模型。
手算基于KN的语言模型
继续以test_corpus.txt为语料，手算一个bigram的语言模型。
模型
语言 模型
传统
模型
语言
1. ngram初始统计
第一步是进行ngram的统计，因为这里训练bigram的语言模型，所以需要统计unigram以及bigram的数量。
在进行统计之前需要先给语料中每句话的开始和结束加上特殊的token： 和 。这样语料进一步处理成：
模型
语言 模型
传统
模型
语言
根据以上语料统计ngram的数量
| unigram | count |
| 5 | |
| 传统 | 1 |
| 语言 | 2 |
| 模型 | 3 |
| 5 | |
| bigram | count |
| 2 | |
| 2 | |
| 1 | |
| 语言 模型 | 1 |
| 模型 | 3 |
| 传统 | 1 |
| 语言 | 1 |
2. ngram计数调整
对于N-gram的语言模型，调整技术主要针对n 这里的 所以调整后计数的结果为： 计数打折的思想为：对于出现频率较高的ngram减少一点对最终的概率影响不会很大，可将其加到那些未出现的ngram上；对于出现频率较低的ngram则不能减少。 具体根据Chen and Goodman提出的打折公式进行计算 这里的 伪概率的计算公式如下: 可以看到，分子如果没有减去 注意，当n=1时，计算 定义回退值为接词的能力，具体回退值的计算公式如下: 注意后面不可能接新词，所以backoff为0 差值的计算可根据递推公式： 根据此递推公式一定会递归到unigram，而unigram可直接由以下公式进行计算 这里的 首先计算unigram插值后的概率值，注意对于 再根据递推公式，进一步计算bigram插值后的概率值 整理上文中计算的概率以及backoff，并计算log10 进一步整理成arpa格式， 可以发现与之前kenlm计算的结果一致 参考文献 Scalable Modified Kneser-Ney Language Model Estimation: https://aclanthology.org/P13-2121.pdf AI教室：传统语言模型+KenLM 实现时不需要调整计数；对于其他情况，需要将计数调整为
unigram
adjust count
reason
5
w1 =
, a = c = 5
传统
1
| {
, 传统} | = 1
语言
1
| {
, 语言} | = 1
模型
2
| {
, 模型},
{语言, 模型} | = 2
3
| {模型, },
{传统, }, {语言, } | = 3
bigram
adjust count
reason
模型2
n = N, a = c =2
语言2
n = N, a = c =2
传统1
n = N, a = c =1
语言 模型
1
n = N, a = c =1
模型
3
n = N, a = c =3
传统
1
n = N, a = c =1
语言
1
n = N, a = c =1
3. 计数打折
t_{n,k} (n=1,2; k=1,2,3,4)
value
reason
t_{1,1}
2
n=1, |a(语言) , a(传统) | = 2
t_{1,2}
1
n=1, |a(模型) | = 1
t_{1,3}
1
n=1, |a()| = 1
t_{1,4}
0
n=1, 不存在a为4的unigram
t_{2,1}
4
n = 2, |a({
, 传统}), a({语言, 模型}), a({传统, }), a({语言, })| = 4
t_{2,2}
2
n = 2, |a({
, 模型}), a({, 语言})| = 2
t_{2,3}
1
n = 2, |a({模型, })| = 1
t_{2,4}
0
n=2, 不存在a为4的bigram
D_{n,k}
value
D_{1}(1)
1/2
D_{1}(2)
1/2
D_{1}(3)
3
D_{1}(4)
3
D_{2}(1)
1/2
D_{2}(2)
5/4
D_{2}(3)
3
D_{2}(4)
3
4. 计算伪概率
unigram
u value
reason
2/7
a = 5, D_{1}(5) = 3,
a(传统) + a(语言) + a(模型) + a() = 7(5-3) / 7 = 2/7
传统
1/14
a = 1, D_{1}(1) = 1/2
(1-1/2)/7 = 1/14
语言
1/14
a = 1, D_{1}(1) = 1/2
(1-1/2)/7 = 1/14
模型
3/14
a = 2, D_{1}(2). = 1/2
(2-1/2)/7 = 3/14
0
a =3, D_{1}(3) = 3
(3-3) / 7 = 0
bigram
u value
reason
模型3/20
a = 2, D_{2}(2) = 5/4,
a({ 模型}) + a({ 语言}) + a({ 传统}) = 5(2-5/4)/5 = 3/20
语言3/20
a = 2, D_{2}(2) = 5/4
(2-5/4)/5 = 3/20
传统1/10
a = 1, D_{2}(1) = 1/2
(1-1/2)/5 = 1/10
语言 模型
1/4
a = 1, D_{2}(1) = 1/2
a({语言 模型}) + a({语言 }) = 2(1-1/2) / 2 = 1/4
模型
0
a = 3, D_{2}(3) = 3
a({模型 }) = 3(3-3) / 3 = 0
传统
1/2
a = 1, D_{2}(1) = 1/2
a({模型 }) = 1(1-1/2)/1 = 1/2
语言
1/4
a = 1, D_{2}(1) = 1/2
a({语言 }) + a({语言 模型}) = 2(1-1/2)/2= 1/4， 因为之前不可能再接入词
5. 回退值计算
unigram
backoff value
reason
3/5
(1/2*1 + 5/4 * 2 + 3 * 0) / 5= 3/5
传统
1/2
(1/2*1 + 5/4*0 + 3*0) / 1 = 1/2
语言
1/2
(1/2*2 + 5/4 *0 + 3*0) / 2 = 1/2
模型
1
(1/2*0 + 5/4 *0 + 3*1) / 3 = 1
0
0
6. 差值计算
的概率直接置为0
unigram
p
reason
0
0
传统
1/5
1/14 + 9/14 * (1/5) = 14/70
语言
1/5
1/14 + 9/14 * (1/5) = 14/70
模型
12/35
3/14 + 9/14 * (1/5) = 24/70
9/70
0 + 9/14 * (1/5) = 9/70
9/70
0 + 9/14 * (1/5) = 9/70
bigram
p
reason
模型249/700
3/20 + 3/5 * 24/70 = 249/700
语言27/100
3/20 + 3/5 * 1/5 = 27/100
传统11/50
1/10 + 3/5 * 1/5 = 11/50
语言 模型
59/140
1/4 + 1/2 * 24/70 = 59/140
模型
9/70
0 + 1 * 9/70 = 9/70
传统
79/140
1/2 + 1/2 * 9/70 = 79/140
语言
11/35
1/4 + 1/2 * 9/70 = 11/35
7. 生成语言模型
unigram
p
log10 p
backoff
log10 backoff
0
0
3/5
-0.221849
传统
1/5
-0.698970
1/2
-0.301030
语言
1/5
-0.698970
1/2
-0.301030
模型
12/35
-0.464887
1
0
9/70
-0.890856
0
0
9/70
-0.890856
0
0
bigram
p
log10 p
模型249/700
-0.448899
语言27/100
-0.568636
传统11/50
-0.657577
语言 模型
59/140
-0.375276
模型
9/70
-0.890856
传统
79/140
-0.248501
语言
11/35
-0.502675
\data\
ngram 1=6
ngram 2=7
\1-grams:
-0.890856 -0.22184873
-0.69896996 传统 -0.30103
-0.69896996 语言 -0.30103
-0.46488678 模型 0
-0.89085555 0
-0.890856 模型
-0.56863624 语言
-0.6575773
\end\
传统
-0.37527603 语言 模型
-0.89085555 模型
-0.50267535 语言