深度学习---语言模型

1、语言模型

语言模型是自然语言处理的重要技术。自然语言处理中最常见的数据是文本数据。假设一段长度为T的文本中的词依次为$w1,w2,...,wT$，那么在离散的时间序列中，wt([1,T])可以看作在时间步t的输出或标签。

假设序列$w1,w2,...,wT$中的每个词是依次生成的，则该序列的概率：

例如，一段含有4个词的文本序列的概率

2、n元语法

当序列长度增加时，计算和存储多个词共同出现的概率的复杂度会呈指数级增加。n元语法通过马尔科夫假设简化了语言模型的计算。这里的马尔科夫假设是指一个词的出现只与前面n个词相关，即n阶马尔科夫链。
如果基于n-1阶马尔科夫链，可以将语言模型改写为：

以上也叫作n元语法。它是基于n-1阶马尔科夫链的概率语言模型。当n分别为1、2和3时，将其分别称作一元语法、二元语法和三元语法

例如：长度为4的序列$w1,w2,w3,w4$在一元语法、二元语法和三元语法中的概率分别为：