python n-gram语言模型 kenlm 傻x 式安装 以及使用

找一台公司的linux服务器:

在服务器上依次执行以下几步：
git clone https://github.com/kpu/kenlm.git
mkdir -p build
cd build
cmake …
make -j 4

别问我为什么 ，就是可以用！！省事

安装完后直接找到预料训练的时候执行，在build文件里执行：
bin/lmplz --minimum_block 1M --vocab_estimate 100 --block_count 1 -S 10M -o 3 --verbose_header --text test1.txt --arpa douban.arpa
 

参数介绍：
-o n:最高采用n-gram语法
-verbose_header:在生成的文件头位置加上统计信息
–text text_file:指定存放预料的txt文件，.txt文件必须是分词以后的文件。
–arpa:指定输出的arpa文件

import kenlm
model = kenlm.Model('people_chars_lm.klm')
print(model.score('我 的',bos = False,eos = False))
print(model.score('的 微',bos = False,eos = False))
print(model.score('微 波',bos = False,eos = False))
print(model.score('波 炉',bos = False,eos = False))
print(model.perplexity('微 波 炉 好 事 吗'))
print(model.perplexity('微 波 炉 好 使 吗'))