A Neural Probabilistic Language Model阅读笔记

  上图有点错误，最左边的是输入层，第二层是投影层，第三层是隐藏层，第四层是输出层。

  Bengio 用了一个三层的神经网络来构建语言模型，同样也是 n-gram 模型。如下图所示：

  通过前$n-1$个词即$w_{t-n+1},\dots ,w_{t-2},w_{t-1}$来预测第$n$个词即$w_t$。其中$C(w)$表示词$w$对应的词向量(其中词向量的维度为m)，而$C$表示的是所有词的词向量矩阵，则它的维度是$|V|\times m$。

  网络的第一层（输入层）是将$C(w_{t-n+1}),\dots ,C(w_{t-2}),C(w_{t-1})$拼接到一起，则形成的向量为x，维度为$(n-1)m$。

  网络的第二层（隐藏层）就如同普通的神经网络，直接使用$d+Hx$计算得到。$d$是一个偏置项。在此之后，使用tanh作为激活函数。

  网络的第三层（输出层）一共有$|V|$个节点，每个节点 $y_i$表示下一个词为 i的未归一化 log 概率。最后使用 softmax 激活函数将输出值$y$归一化成概率。最终，y的计算公式为：
$$y=b+Wx+Utanh(d+Hx)$$

  式子中的 U($|V|\times h$的矩阵)是隐藏层到输出层的参数，整个模型的多数计算集中在U和隐藏层的矩阵乘法中。后文的提到的 3 个工作，都有对这一环节的简化，提升计算的速度。$H$为$h\times (n-1)m$的矩阵。

  式子中还有一个矩阵W(维度为$|V|\times (n-1)m$)，这个矩阵包含了从输入层到输出层的直连边。直连边就是从输入层直接到输出层的一个线性变换，好像也是神经网络中的一种常用技巧（没有仔细考察过）。如果不需要直连边的话，将W置为 0 就可以了。在最后的实验中，Bengio 发现直连边虽然不能提升模型效果，但是可以少一半的迭代次数。同时他也猜想如果没有直连边，可能可以生成更好的词向量。

https://blog.csdn.net/weixin_43178406/article/details/101671342
http://techblog.youdao.com/?p=915
http://licstar.net/archives/328
https://www.bilibili.com/video/BV1Lb411p7FD?p=2
https://arxiv.org/pdf/1301.3781.pdf
https://blog.csdn.net/maqunfi/article/details/84455434