神经概率语言模型

读了Bengio的《A Neural Probabilistic Language Model》，颇有感悟，以此文记一下我的读后感。

一、语言模型

1. 语言模型是什么
   语言模型是自然语言处理的一大利器，是NLP领域一个基本却又重要的任务。它的主要功能就是计算一个词语序列构成一个句子的概率，或者说计算一个词语序列的联合概率，这可以用来判断一句话出现的概率高不高，符不符合我们的表达习惯，它是否通顺，这句话是不是正确的。
2. 语言模型有什么用
   语言模型可以用于机器翻译、语音识别、音字转换和文本校对等诸多NLP任务中，它可以从多个候选句子中选出一个最为靠谱的结果。
3. 语言模型的发展
   3.1 语言模型的基本形态
   基本形态很简单，就是按照乘法定理计算词语序列的联合概率，但这样模型参数就太多了，会导致过拟合，这是因为发生了维数灾难。
   3.2 N-Gram模型
   N-Gram模型是一种经典好用的语言模型，它基于N-1阶马尔可夫链，认为当前词仅与前N-1个词有关，这就解决了维数灾难这个问题。使用N-Gram模型时，由于训练语料规模的限制，会有许多未见语言现象，存在数据稀疏的问题，需要采用数据平滑的方法避免值为零的模型参数（也就是条件概率）出现。
   3.3 DNN语言模型
   其实现在只看了Bengio的这篇文章，也就是如何用神经网络构建N-Gram模型。

二、用神经网络构建N-Gram模型

N-Gram模型需要精心设计平滑方法（因为数据稀疏的问题），为了解决这个问题，Bengio提出用神经网络来构建语言模型，也就是用神经网络来估计下一个词是各个词的条件概率。用神经网络构建语言模型，还能顺便得到词的分布式表示形式——word embedding，由于词的相似度可以通过词向量的距离来衡量，也就是计算向量的余弦相似度，于是未见词语序列的概率可以用相似词进行估计，也就避免了数据稀疏的问题。
Bengio将用神经网络构建N-Gram模型的任务转换成给定前N-1个词然后预测下一个词的任务，这是在无标注文本上以无监督学习的方式构建语言模型。
看神经网络相关的文章，要抓住重点，那就是：模型的输入输出，模型的结构，模型所对应的优化问题，以及模型为什么能够work。

1. 神经网络模型的输入输出
   将前N-1个词对应的词向量首尾拼接作为神经网络的输入，神经网络的输出有V个节点，这些节点的输出经过softmax激活函数后，就归一化为给定前N-1个词，下一个词是该词的条件概率，于是就得到了N-Gram模型的参数，也就构建了N-Gram模型。
2. 模型结构
   包括两部分，分别是Embedding层和前馈神经网络。
   Embedding层：负责将词语转化为词向量。
   神经网络：这是一个三层的前馈神经网络，包括输入层，隐藏层和输出层，都是全连接层。输入层有(N-1)m个节点，隐藏层有h个节点，输出层有V个节点，隐藏层的激活函数是双曲正切函数tanh()，这是一个S型函数，输出层的激活函数是softmax。
3. 优化问题
   大部分机器学习算法其实都是一个最优化问题，神经网络也不例外。这里的目标函数是语料库的对数似然函数加上一个正则项，优化变量是模型参数，通过随机梯度提升的方法，调整参数，使得目标函数达到最大即可。
   目标函数中的语料库对数似然函数其实就是对数条件概率的累加，也就是模型的输出取对数后的累加。
   注：语料库的似然函数，P(corpus)=P(S1)P(S2)...P(Sn)，句子出现的概率又可以展开为模型输出的连乘形式，取对数是为了简化计算，将乘法计算变为加法计算。
   PS：在实际应用中，例如基于TensorFlow或者Keras训练LM，我们一般都先基于语料生成输入输出对，即输入+sentence，输出sentence+，然后使用这些输入输出对训练多输入多输出的模型。
4. why it work
   我们通过语料库，以无监督学习的方式构建了一个语言模型，那么我们的训练语料当然会契合语言模型，于是可以认为这些训练语料是由这个语言模型生成的（事实上，LM也可以生成文本）。现在语言模型的参数未知，但是我们有结果，于是这是一个统计推断的问题，使用MLE估计模型参数即可。再来看神经网络的目标函数，现在就是要调整模型参数使得出现该训练语料的概率达到最大。

Bengio的这种用神经网络构建N-Gram模型的方法，想要计算句子出现的概率还是要把条件概率进行相乘，这种方法的最大贡献我认为可以有两个：一是使用NN构建N元模型，基于相似词语解决数据稀疏的问题；二是给出了一种训练词向量的方法。

转载请注明如下内容：

文章来自，作者：就是杨宗
原文链接：http://www.jianshu.com/p/3f22fc76a9e5