word2vec理论和实现及负采样技术

cs224n assignment2: Word2vec实现

本文是对cs224n_assignment 2实验中理论部分的总结。

原版lab 手册和code参见：

Stanford CS 224N | Natural Language Processing with Deep Learning

笔者完成了实验，code参见：
word2vec_lab

skip-gram思想：

用center word预测outside word。

定义参数：

定义两张表$U$和$V$，同时也是该网络唯一的参数。

处理center word时，查询$V$，处理outside word，查询$U$。

查询结果( $u_i,v_j$ )分别作为outside word和center word的词向量。

优化目标:

center word c预测到outside word为o的概率为：
$$P(O=o|C=c)=\frac{exp(u_o^T{v}_c)}{{\sum }_{w\in vocab}exp(u_w^T{v}_c)}$$
对应代码实现为：

import numpy as np
def softmax(x):
    """Compute the softmax function for each row of the input x.
    It is crucial that this function is optimized for speed because
    it will be used frequently in later code
	Arguments:
	x -- A D dimensional vector or N x D dimensional numpy matrix.
	Return:
	x -- You are allowed to modify x in-place
	"""
    orig_shape = x.shape

    if len(x.shape) > 1:
        # Matrix
        tmp = np.max(x, axis=1)
        x -= tmp.reshape((x.shape[0], 1))
        x = np.exp(x)
        tmp = np.sum(x, axis=1)
        x /= tmp.reshape((x.shape[0], 1))
    else:
        # Vector
        tmp = np.max(x)
        x -= tmp
        x = np.exp(x)
        tmp = np.sum(x)
        x /= tmp

    assert x.shape == orig_shape
    return x`

outsideWordVecs=np.random.rand(100,10) #U
centerWordVecs=np.random.rand(100,10) #V

centerWordIndex=1
centerWordVector=centerWordVecs[centerWordIndex]

softmax(np.dot(outsideWordVecs,centerWordVector)).shape
#(100,)

$P$表征预测词的概率分布，既然是分类问题，则使用交叉熵损失函数。记$o$即为当前预测的target，则损失函数
$$\mathcal{L}=-log(P(O=o|C=c))$$
网络的目标在于找到：
$$ar{g}_{U,V}min\mathcal{L}$$

下面讨论分析优化的过程，指出这个办法的性能瓶颈，并介绍改进的负采样技术

使用SGD的办法优化网络，梯度为：
$$\nabla \mathcal{L}=(\frac{\partial }{V}\mathcal{L},\frac{\partial }{U}\mathcal{L})$$
对于前一项，只需对$v_0$求导，其余地方梯度为0，不难证明：
$$\begin{array}{rl}& \frac{\partial }{v_c}(-log(\frac{exp(u_o^T{v}_c)}{{\sum }_{w\in vocab}exp(u_w^T{v}_c)}))\\ & =\frac{\partial }{v_c}log(\sum _{w\in vocab}exp(u_w^T{v}_c))-\frac{\partial }{v_c}logexp(u_o^T{v}_c)\\ & =\sum _{w\in vocab}\frac{u_w^{T}exp(u_w^T{v}_c)}{exp(u_w^T{v}_c)}-u_o^T\\ & =\hat{y}U-yU\\ & =(\hat{y}-y)U\end{array}$$
对于后一项，先对每一行（每个词向量）求偏导，再将他们拼起来。

即求$\partial \frac{\mathcal{L}}{u_i}$即可，若$i!=o$:
$$\begin{array}{rl}& \partial \frac{\mathcal{L}}{u_i}\\ & =\frac{\partial }{u_i}log(\sum _{w\in vocab}exp(u_w^T{v}_c))-\frac{\partial }{u_i}logexp(u_o^T{v}_c)\\ & =\frac{v_{c}exp(u_i^T{v}_c)}{{\sum }_{w\in vocab}exp(u_w^T{v}_c)}\\ & ={\hat{y}}_i{v}_c\end{array}$$
否则:
$$\begin{array}{rl}& \partial \frac{\mathcal{L}}{u_o}\\ & =\frac{\partial }{u_o}log(\sum _{w\in vocab}exp(u_w^T{v}_c))-\frac{\partial }{u_o}logexp(u_o^T{v}_c)\\ & =\frac{v_{c}exp(u_o^T{v}_c)}{{\sum }_{w\in vocab}exp(u_w^T{v}_c)}-v_c\\ & =({\hat{y}}_o-1)v_c\end{array}$$
不难发发现，对于每一次loss，更新$V$只需一步，但更新$U$需要很多步(遍历词表长度，才能得到对$U$的完整梯度)

负采样：

想办法减少查询$U$表的次数，只查询个别单词，即可减少计算量。约定目标预测正确答案（正样本）为$o$，center word为$c$，随机选择的负样本为$w_s,1<=s<=k$，新的损失函数为：
$$\mathcal{L}=-log(\sigma (u_o^T{v}_c))-\sum _{1<=s<=K}log(\sigma (-u_{w_s}^T{v}_c))$$
就损失函数做以说明：

损失最小化的同时，我们希望网络预测正样本的可能性极大化，预测负样本的可能性极小化。

$log(\sigma (u_o^T{v}_c))$即为正样本对应概率，添加负号，即符合目标

${\sum }_{1<=s<=K}log(\sigma (-u_{w_s}^T{v}_c))$即为负样本对应概率的相反数，再添加负号即符合最小化目标。

更详细的思路介绍，参考cs224n assignment 2的实验手册。