相关软件包：
- mitlm
- arpa
mitlm只能训练语言模型，没有计算句子概率的函数，需要自己编写。
但是mitlm可以输出arpa格式的语言模型文件，通过python包arpa加载，使用相关的函数就可以计算句子概率。
mitlm训练模型：
../estimate-ngram -o 2 -t $infile \
-wc $OUTPUT_DIR/wc.$cat \
-wec $OUTPUT_DIR/wec.$cat \
-wlc $OUTPUT_DIR/wlc.$cat \
-wrc $OUTPUT_DIR/wrc.$cat \
-wl $model_file \
-wv $OUTPUT_DIR/wv.$cat \
-eval-perp $infile
其中输出文件：
wc.$cat
n-gram counts
wec.$cat
effective n-gram counts
wl.$cat
ARPA backoff LM
wlc.$cat
left-branching n-gram counts
wrc.$cat
right-branching n-gram counts
值得注意的就是 wl.$cat文件，该文件为ARPA格式的语言模型。ARPA格式一般如下：
ngram折扣概率， ngram， backoff概率（最后一个ngram没有backoff概率）
接下来就是使用arpa包计算句子概率了。
arpa包是基于python3开发的，在python2.7下可以安装，但是需要改3个地方才能运行：
第一处是 src/arpa/arpa.py文件的loadf()函数
def loadf(path, mode="rt", encoding=None, model=None, parser=None):
"""Deserialize path (a text file) to a Python object."""
#with open(path, mode=mode, encoding=encoding) as f:
with open(path) as f:
return load(f, model=model, parser=parser)
第二处是 ./src/arpa/models/base.py 和/src/arpa/parsers/base.py中_metaclass_声明方式，分别改为：
class ARPAModel:
__metaclass__ = ABCMeta
#
class ARPAParser:
__metaclass__ = ABCMeta
第三处为 ./src/arpa/models/simple.py中的super()调用方式：
super(ARPAModelSimple, self).__init__(unk=unk)
加载arpa语言模型，计算句子概率：
import arpa
models = arpa.loadf("results/wl.a.hyp"）
lm = models[0]
s = 'a b'
#计算ngram概率
print lm.p(s)
print lm.log_p(s)
#计算句子得分
print lm.s(s)
print lm.log_s(s)
ARPA格式详细可参考：
http://www.speech.sri.com/projects/srilm/manpages/ngram-format.5.html
计算句子模型的方法可以参考arpa包的源码，还可以参考代码：
https://github.com/awni/py-arpa-lm
mitlm的资料很少，貌似没有人维护和更新了，不过网上也找到一份教程，但是比较简单：
http://projects.csail.mit.edu/cgi-bin/wiki/view/SLS/MITLMTutorial
理解语言模型可参考stanford的课程：
http://www.voidcn.com/blog/fkyyly/article/p-566909.html
还可以参考中科院宗成庆老师的课件：
http://www.nlpr.ia.ac.cn/cip/ZongReportandLecture/Lecture_on_NLP/Chp-05.pdf
语言模型一般都会用到平滑方法，比较常用的是katz折扣法，详细讲解可参考：
http://blog.pluskid.org/?p=361
其他参考：
http://zhouyichu.com/nlp/Language-Model/