word2vec背后的数学原理+从零开始纯Python实现(下)

引言

在上篇文章中我们了解到了word2vec中CBOW和Skip-Gram的原理，有一个主要的问题是计算量太大了。想象一下百万级别的词汇量，那个softmax需要计算百万次。

本文就来介绍两种优化方法，分别是层次Softmax(Hierarchical softmax)和负采样(Negative Sampling)。

Hierarchical softmax

在介绍这种方法之前，我们来回顾一下数据结构中的哈弗曼树。

给定N个权值作为N个叶子结点，构造一棵二叉树，若该树的带权路径长度达到最小，称这样的二叉树为最优二叉树，也称为哈夫曼树(Huffman Tree)。哈夫曼树是带权路径长度最短的树，权值较大的结点离根较近。

下面来看一下哈夫曼树的构造，假设有n个权值，则构造出的哈夫曼树有n个叶子结点。 n个权值分别设为 $w_1$、$w_2$、…、$w_n$，则哈夫曼树的构造规则为：

1. 将$w_1,w_2,\cdots ,w_n$看成是有n颗树的森林(每颗树仅有一个结点)
2. 在森林中选出两个根结点的权值最小的树合并，作为一棵新树的左、右子树，且新树的根结点权值为其左、右子树根结点权值之和；
3. 从森林中删除选取的两棵树，并将新树加入森林
4. 重复(2)、(3)步，直到森林中只剩一棵树为止，该树即为所求得的哈夫曼树。

哈弗曼树有什么好处呢，一般可用于哈夫曼编码。比如约定左子树编码为0，右子树编码为1。由于权重高的叶子节点越靠近根节点，权重低的叶子节点则远离根节点，这样权重高的节点编码值较短，权重低的节点编码值较长，这可以保证树的带权路径最短。

用到word2vec中就是出现频次高的单词计算其分布概率可以更快。

Hierarchical softmax使用二叉树(哈夫曼树)来表示词典中的单词。这颗树的叶子节点表示词典中的每个单词，所以总共有$V$个叶子节点。并且有$V-1$个内部节点。对于每个叶子节点，都能通过一条唯一的从根节点开始的路径到达，这条路径就用来计算叶子节点所表示单词的概率。并且这个概率是已经标准化了的，也就是这颗哈夫曼树的所有叶子节点概率之和为1。

如上图所示，白色节点代表单词，黑色节点是非叶子节点。比如要计算单词$w_2$的概率，上图给出了唯一的一条路径，该条路径的长度$L(w_2)=4$，$n(w,j)$表示从根节点到单词$w$所在节点的第$j$个节点。

在Hierarchical softmax模型中，每个(共有$V-1$个)内部节点有一个输出向量$v_n^{\prime }(w,j)$。然后单词作为输出单词的概率被定义为：

$$p(w=w_O)=\prod _{j=1}^{L(W)-1}\sigma \left(I(n(w,j+1)=ch(n(w,j))\cdot {v_{n(w,j)}^{\prime }}^{T}h\right)\text{\hspace{1em}(1)}$$

其中$ch(n)$是节点$n$的$左孩子$；$v_{n(w,j)}^{\prime }$是内部节点$n(w,j)$的输出向量；$h$是隐藏层的输出值；$I(x)$是指数函数，当$x$为True的时候，输出为1，输入为False的时候，输出为0。

看起来很复杂，其实很简单。我们看上图，假设我们想要计算单词$w_2$作为输出词的概率，我们把这个概率定义为从根节点到叶子节点$w_2$的概率。在每个内部节点上(包括根节点)，我们需要设定向左或向右走的概率。定义在内部节点$n$处向左走的概率为：

$$p(n,left)=\sigma \left({v_n^{\prime }}^T\cdot h\right)\text{\hspace{1em}(2)}$$

我们知道，sigmoid函数的取值是$[0,1]$，因此作为概率是再合适不过了。而它的函数值是由内部节点($v_n^{\prime }$)和隐藏层的输出值决定的。那么向右走的概率就为：

$$p(n,right)=1-\sigma \left({v_n^{\prime }}^T\cdot h\right)=\sigma (-v{{}_n^{\prime }}^T\cdot h)\text{\hspace{1em}(3)}$$

$1-\sigma (x)=1-\frac{1}{1+e^{-x}}=\frac{e^{-x}}{1+e^{-x}}=\frac{1}{1+e^x}=\sigma (-x)$

那么如何验证从根节点到$w_2$的路径计算$w_2$作为输出词的概率呢？请看下面的公式：

$$\begin{gathered} p(w_2=w_O)=p(n(w_2,1),left)\cdot p(n(w_2,2),left)\cdot p(n(w_2,3),right) \\ =\sigma ({v_n^{\prime }(w_2,1)}^{T}h)\cdot \sigma ({v_n^{\prime }(w_2,2)}^{T}h)\cdot \sigma (-{v_n^{\prime }(w_2,3)}^{T}h) \end{gathered}$$

就是由公式$(1)$得到的。

在内部节点处, 向左向右的概率和为1, 一直分裂下去,最后的和还是1. 因此可以很容易得到:

$$\sum _{i=1}^{V}p(w_i=w_O)=1$$

这样使得Hierarchical softmax输出层也是一个所有单词的概率多项分布。

下面开始反向传播的训练过程。为了简单起见，我们先看一个上下文单词模型(one-word context model)，后面扩展到CBOW和Skip-Gram是很容易的。

为了简化符号，用$[I]$表示下面的指示函数式子：
$$[I]:=I\left(n(w,j+1)=ch(n(w,j)\right)$$

用$v^{\prime }$表示$v_{n_{w,j}}^{\prime }$

那么，对于每个训练数据，损失函数定义为：

$$E=-\log p(w=w_O|w_I)=-\sum _{j=1}^{L(w)-1}\log \sigma ([I]{v_j^{\prime }}^{T}h)\text{\hspace{1em}(4)}$$

下面先求$E$对$v_j^{\prime }h$的梯度

之前的文章推导过,$\sigma (x{)}^{\prime }=\sigma (x)(1-\sigma (x))$

$$\begin{array}{rl}\frac{\partial E}{\partial v_j^{\prime }h}& =-\frac{\sigma ([I]{v_j^{\prime }}^{T}h)(1-\sigma ([I]{v_j^{\prime }}^{T}h))}{\sigma ([I]{v_j^{\prime }}^{T}h)}(-[I])\\ & =\left(\sigma ([I]{v_j^{\prime }}^{T}h)-1\right)[I]\\ & =\{\begin{array}{ll}\sigma ({v_j^{\prime }}^{T}h)-1& \text{if }[I]=1\\ \sigma ({v_j^{\prime }}^{T}h)& \text{if }[I]=-1\end{array}\\ & =\sigma ({v_j^{\prime }}^{T}h)-t_j\end{array}$$

上面用到了公式$(3)$，其中当$[I]=1$时,$t_j=1$；否则$t_j=0$。

这个公式与前面的$y_j-t_j$很像, 可以理解为预测值与真实值之差。

下面就可以求出内部节点$n(w,j)$的向量$v_j^{\prime }$的梯度了。

$$\frac{\partial E}{\partial v_j^{\prime }}=\frac{\partial E}{\partial v_j^{\prime }h}\cdot \frac{\partial v_j^{\prime }h}{\partial v_j^{\prime }}=\left(\sigma ({v_j^{\prime }}^{T}h)-t_j\right)\cdot h$$

现在就可以得到$v_j^{\prime }$的更新公式:

$$v_j^{\prime }=v_j^{\prime }-\eta \left(\sigma ({v_j^{\prime }}^{T}h)-t_j\right)\cdot hj=1,2,\cdots ,L(w)-1\text{\hspace{1em}(5)}$$

这个公式既能用在CBOW模型中，又能用在Skip-Gram模型中。当用后者的时候，我们需要在C个上下文单词中重复这个过程。

为了对输入层到隐藏层的权重进行更新，我们对$h$求梯度：

$$\begin{gathered} \frac{\partial E}{\partial h}=\sum _{j=1}^{L(w)-1}\frac{\partial E}{\partial v_j^{\prime }h}\cdot \frac{\partial v_j^{\prime }h}{\partial h} \\ =\sum _{j=1}^{L(w)-1}\left(\sigma ({v_j^{\prime }}^{T}h)-t_j\right)\cdot v_j^{\prime }:=EH\text{\hspace{1em}(6)} \end{gathered}$$

和之前的公式一样，如果是CBOW模型代入下面的式子就可以进行反向传播更新了：

$$v_{w_I,c}=v_{w_I,c}-\frac{1}{C}\cdot \eta \cdot E{H}^{T}forc=1,2,\cdots ,C\text{\hspace{1em}(7)}$$

如果是Skip-gram模型，由于输入只有一个单词，需要计算每个上下文单词的$EH$值，并求和。然后代入下式更新输入单词的向量即可：
$$v_{w_I}=v_{w_I}-\eta \cdot E{H}^T$$

从更新公式可以看到，隐层到输出层的计算量从$O(V)$, 利用哈夫曼树降为了$O(\log V)$。

Negative Sampling

负采样的思想比层次Softmax更直接，也更简单。因为基于softmax，在使用梯度下降的时候，每个训练样本需要更新$V$个向量。因此负采样只更新一小部分向量，而非全部$V$个。

考虑单词-上下文词对$(w,c)$，然后看这个单词对是否出现在训练数据集中。用$p(D=1|w,c)$表示$(w,c)$出现语料库中的概率。相应地，$p(D=0|w,c)=1-p(D=1|w,c)$表示没有出现在语料库中的概率。

假设存在参数$\theta$决定这个分布：$p(D=1|w,c;\theta )$。
我们现在的目标是找到参数$\theta$使得所有出现在训练集中的词对概率最大化。

$$\arg \underset{\theta }{\max }\prod _{(w,c)\in D}p(D=1|w,c;\theta )$$

取对数就变成了

$$\arg \underset{\theta }{\max }\sum _{(w,c)\in D}\log p(D=1|w,c;\theta )$$

$p(D=1|w,c;\theta )$可通过softmax来表示：
$$p(D=1|w,c;\theta )=\frac{1}{1+e^{-{v_{w_O}^{{}^{\prime }}}^{T}h}}$$

目标就可以写成：
$$\arg \underset{\theta }{\max }\sum _{(w,c)\in D}\log \frac{1}{1+e^{-{v_{w_O}^{{}^{\prime }}}^{T}h}}\text{\hspace{1em}(8)}$$

如果光这样的话，那么只要能找到一个$\theta$使得所有的单词对$(w,c)$的概率$p(D=1|w,c;\theta )=1$，就可以得到一个无效解。也就是只要让$v_{w_O}^{{}^{\prime }}=h$同时$v_{w_O}^{{}^{\prime }}\cdot h=K$，当$K$足够大时($K$只要超过了40)就能使$p(D=1|w,c;\theta )=1$。

所以我们需要一个机制能防止所有的向量都学到一样的值，一种方法是抑制一些$(w,c^{{}^{\prime }})$的组合，就是碰到这些$(w,c^{{}^{\prime }})$组合时，$p(D=1|w,c^{{}^{\prime }};\theta )$的概率必须要很低。 这些$(w,c^{{}^{\prime }})$组合很好找，比如可以找不存在数据集中的$(w,c^{{}^{\prime }})$。假设在我们的数据集中，中心词是$w$,它的上下文共有$2C$个词。那么我们在上下文之外取某个词$w^{\prime }$，它没有出现在任何$w$的上下文中。 那么$(w,w^{\prime })$就是一个我们要的组合，这种组合就是负样本。存在数据集中的单词-上下文词对$(w,c)$就是正样本。

按照这种方式，我们可以生成一个随机的负样本词对集合$D^{\prime }$。现在我们的目标是让正样本的概率($p(D=1|w,c;\theta )$)越大越好，让负样本的概率($p(D=1|w,c^{{}^{\prime }};\theta )$)越小越好，或者说让负样本的$p(D=0|w,c^{{}^{\prime }};\theta )$越大越好。

$$\begin{array}{rl}\arg \underset{\theta }{\max }\prod _{(w,c)\in D}p(D=1|w,c;\theta )\prod _{(w,c^{{}^{\prime }})\in D^{{}^{\prime }}}p(D=0|w,c;\theta )& =\arg \underset{\theta }{\max }\prod _{(w,c)\in D}p(D=1|w,c;\theta )\prod _{(w,c^{{}^{\prime }})\in D^{{}^{\prime }}}(1-p(D=1|w,c;\theta ))\\ & =\arg \underset{\theta }{\max }\sum _{(w,c)\in D}\log p(D=1|w,c;\theta )+\sum _{(w,c^{{}^{\prime }})\in D^{{}^{\prime }}}\log (1-p(D=1|w,c;\theta ))\\ & =\arg \underset{\theta }{\max }\sum _{(w,c)\in D}\log \frac{1}{1+e^{-{v_{w_O}^{{}^{\prime }}}^{T}h}}+\sum _{(w,c^{{}^{\prime }})\in D^{{}^{\prime }}}\log (1-\frac{1}{1+e^{-{v_{w_i}^{{}^{\prime }}}^{T}h}})\\ & =\arg \underset{\theta }{\max }\sum _{(w,c)\in D}\log \frac{1}{1+e^{-{v_{w_O}^{{}^{\prime }}}^{T}h}}+\sum _{(w,c^{{}^{\prime }})\in D^{{}^{\prime }}}\log (\frac{1}{1+e^{{v_{w_i}^{{}^{\prime }}}^{T}h}})\\ & =\arg \underset{\theta }{\max }\sum _{(w,c)\in D}\log \sigma ({v_{w_O}^{{}^{\prime }}}^{T}h)+\sum _{(w,c^{{}^{\prime }})\in D^{{}^{\prime }}}\log \sigma (-{v_{w_i}^{{}^{\prime }}}^{T}h)\end{array}\text{\hspace{1em}(9)}$$

这里再次用到了 $1-\sigma (x)=\sigma (-x)$

最终这个式子基本上就等同于Mikolov et al在(4)中写的公式(4)了。

和Mikolov et al不同的是，这里用了所有的语料库$D\cup D^{{}^{\prime }}$,而他们使用了一个正样本$(w,c)\in D$和$k$个负样本$(w,c^{{}^{\prime }})\in D^{{}^{\prime }}$,如下面的公式：

$$\log \sigma ({v_{w_O}^{{}^{\prime }}}^{T}h)+\sum _{w_j\in {\mathcal{W}}_{neg}}\log \sigma (-{v_{w_j}^{{}^{\prime }}}^{T}h)\text{\hspace{1em}(10)}$$

Mikolov et al构建$D^{{}^{\prime }}$的时候，用了一种特殊的方法。
定义了一个noise distrubution 的$P_n(w)$，

$$P_n(w_i)=\frac{f(w_i{)}^{3/4}}{{\sum }_{j=0}^{n}f(w_j{)}^{3/4}}\text{\hspace{1em}(11)}$$

有点类似unigram模型，$f(w)$是单词$w$出现的频次。某个词被选中的概率与它的频次有关，取0.75幂的好处是可以减小不同频次差异过大带来的影响，使得小频次的单词被采样的概率变大。

下面给出损失函数

$$E=-\log \sigma ({v_{w_O}^{{}^{\prime }}}^{T}h)-\sum _{w_j\in {\mathcal{W}}_{neg}}\log \sigma (-{v_{w_j}^{{}^{\prime }}}^{T}h)\text{\hspace{1em}(12)}$$

$w_O$是输出单词(正样本)；$v_{w_O}^{{}^{\prime }}$是输出向量；$h$是隐藏层的输出值:$h=\frac{1}{C}su{m}_{c=1}^C{v}_{w_c}$(CBOW模型)或$h=v_{w_I}$(skip-gram模型)；${\mathcal{W}}_{neg}=\{w_j|j=1,\cdots ,K\}$是基于$P_n(w)$采样的负样本。

有了损失函数，用梯度下降的方法更新$v^{{}^{\prime }}$即可。还是先看下对${v_{w_j}^{{}^{\prime }}}^{T}h$的梯度，这里要区分正样本和负样本。

$$\begin{array}{rl}\frac{\partial E}{\partial {v_{w_j}^{{}^{\prime }}}^{T}h}& =\{\begin{array}{ll}\sigma ({v_{w_j}^{\prime }}^{T}h)-1& \text{if }{w}_j=w_O\\ \sigma ({v_{w_j}^{\prime }}^{T}h)& \text{if }{w}_j\in {\mathcal{W}}_{neg}\end{array}\\ & =\sigma ({v_{w_j}^{\prime }}^{T}h)-t_j\end{array}\text{\hspace{1em}(13)}$$

推导过程和对公式(4)下面的推导类似。
当$w_j$是正样本时$t_j=1$,否则$t_j=0$。

下面对单词$w_j$的输出向量$v_{w_j}^{\prime }$求梯度：

$$\frac{\partial E}{\partial v_{w_j}^{\prime }}=\frac{\partial E}{\partial {v_{w_j}^{{}^{\prime }}}^{T}h}\cdot \frac{\partial {v_{w_j}^{{}^{\prime }}}^{T}h}{\partial v_{w_j}^{\prime }}=\left(\sigma ({v_{w_j}^{\prime }}^{T}h)-t_j\right)h$$

这样就得到输出向量的更新式子：

$$v_{w_j}^{\prime }=v_{w_j}^{\prime }-\eta \left(\sigma ({v_{w_j}^{\prime }}^{T}h)-t_j\right)h\text{\hspace{1em}(14)}$$

这个和非负采样的更新公式看起来有点像，对于每个训练数据，我们只要更新$w_j\in \{w_O\}\cup {\mathcal{W}}_{neg}$这么点向量，而非原始的$V$个，大大降低了训练复杂度。

这个更新公式能同时应用到CBOW和skip-gram模型，在skip-gram模型中，每次只更新一个上下文单词向量。

最后求解对隐藏层的梯度：

$$\begin{array}{rl}\frac{\partial E}{\partial h}& =\sum _{w_j\in \{w_O\}\cup {\mathcal{W}}_{neg}}\frac{\partial E}{\partial {v_{w_j}^{\prime }}^{T}h}\cdot \frac{\partial {v_{w_j}^{{}^{\prime }}}^{T}h}{\partial h}\\ & =\sum _{w_j\in \{w_O\}\cup {\mathcal{W}}_{neg}}\left(\sigma ({v_{w_j}^{\prime }}^{T}h)-t_j\right)v_{w_j}^{{}^{\prime }}:=EH\end{array}$$

和之前的公式一样，如果是CBOW模型代入下面的式子就可以进行反向传播更新了：

$$v_{w_I,c}=v_{w_I,c}-\frac{1}{C}\cdot \eta \cdot E{H}^{T}forc=1,2,\cdots ,C$$

如果是Skip-gram模型，由于输入只有一个单词，需要计算每个上下文单词的$EH$值，并求和。然后代入下式更新输入单词的向量即可：
$$v_{w_I}=v_{w_I}-\eta \cdot E{H}^T$$

通过上面的过程可以看到，对于输入层到隐层的矩阵$W$,所有的输入向量都会更新，而对于隐层到输出层的矩阵$W^{{}^{\prime }}$，只更新了$k$个负样本。这也是选择$W$作为词向量原因。

参考

1. word2vec Explained: Deriving Mikolov et al.’s Negative-Sampling Word-Embedding Method
2. On word embeddings
3. word2vec Parameter Learning Explained
4. Distributed representations of words and phrases and their compositionality.