Day 4 语言模型

语言模型

一段语言模型可以看成一个离散时间序列 N-gram

假设序列\omega_1, \omega_2,... \omega_T中的每个词是依次生成的,我们有

Formula

\hat{P}(\omega_1)=\frac{n(\omega_1)}{n}

\hat{P}(\omega_2|\omega_1)=\frac{n(\omega_1,\omega_2)}{n(\omega_1)}

n元语法

序列长度增加,计算和存储多个词共同出现的概率的复杂度会呈指数级增加。 元语法通过马尔可夫假设简化模型,马尔科夫假设是指一个词的出现只与前面 个词相关,即 阶马尔可夫链(Markov chain of order n),如果 =1,那么有
(_3∣_1,_2)=(_3∣_2)
长度为4的序列_1,_2, _3, _4在一元语法(unigram)、二元语法(bigram)、三元语法(tigram)中的概率分别为
P(\omega_1,\omega_2,\omega_3,\omega_4)=P(\omega_1)P(\omega_2)P(\omega_3)P(\omega_4),
P(\omega_1,\omega_2,\omega_3,\omega_4)=P(\omega_1)P(\omega_2|\omega_1)P(\omega_3|\omega_2)P(\omega_4|\omega_3),
P(\omega_1,\omega_2,\omega_3,\omega_4)=P(\omega_1)P(\omega_2)P(\omega_3)P(\omega_4),

错题归纳

错题

你可能感兴趣的:(Day 4 语言模型)