SRILM使用之用平滑Katz回退训练语言模型

问题:考虑用下面的测试文件,测试上面的模型

cat test_coupus2.txt 

birds chirp

ngram -lm corpus.lm -ppl test_coupus2.txt  -debug 2

SRILM使用之用平滑Katz回退训练语言模型_第1张图片

使用catzs回退方法,进行模型训练
要旨:对于次数较少的N-gram组,将其概率减少,减少的概率分配给训练集中没出现的N-gram组。

ngram-count -text corpus.txt -order 2 -write corpus_katz.count -lm corpus_katz.lm

概率计算公式为
SRILM使用之用平滑Katz回退训练语言模型_第2张图片

条件概率计算过程 详细见excel

SRILM使用之用平滑Katz回退训练语言模型_第3张图片

SRILM使用之用平滑Katz回退训练语言模型_第4张图片

SRILM使用之用平滑Katz回退训练语言模型_第5张图片

重新计算困惑度

ngram -lm corpus_katz.lm -ppl test_coupus2.txt  -debug 2

SRILM使用之用平滑Katz回退训练语言模型_第6张图片

你可能感兴趣的:(SRILM使用)