语言模型
一段语言模型可以看成一个离散时间序列 N-gram
假设序列, ,... 中的每个词是依次生成的,我们有
=
=
n元语法
序列长度增加,计算和存储多个词共同出现的概率的复杂度会呈指数级增加。 元语法通过马尔可夫假设简化模型,马尔科夫假设是指一个词的出现只与前面 个词相关,即 阶马尔可夫链(Markov chain of order n),如果 =1,那么有
=
长度为4的序列,, , 在一元语法(unigram)、二元语法(bigram)、三元语法(tigram)中的概率分别为
=,
=,
=,