语言模型
一段语言模型可以看成一个离散时间序列 N-gram
假设序列,
,...
中的每个词是依次生成的,我们有

Formula
=
=
n元语法
序列长度增加,计算和存储多个词共同出现的概率的复杂度会呈指数级增加。 元语法通过马尔可夫假设简化模型,马尔科夫假设是指一个词的出现只与前面 个词相关,即 阶马尔可夫链(Markov chain of order n),如果 =1,那么有
=
长度为4的序列,
,
,
在一元语法(unigram)、二元语法(bigram)、三元语法(tigram)中的概率分别为
=
,
=
,
=
,
错题归纳

错题