cs224n学习笔记L2:word vectors and word senses

cs224n学习笔记L1:自然语言处理简介

一、课堂计划

1. 完成word vectors和word2vec工具预览（即作业一）
2. 优化理论基础
3. 能否通过计数使计算更高效
4. glove模型计算词向量的方案
5. 验证word vectors
6. word senses(词感知？)

目的：课堂结束后能够读懂词嵌入的论文。

二、 词向量计算方法

2.1 回顾word2vec计算

对一个中心词，与窗口内的context词出现的概率：
$$P(o|c)=\frac{exp(u_o^T{v}_c)}{{\sum }_{w\in V}exp(u_w{v}_c)}\text{\hspace{1em}(2.1)}$$
通过极大似然方法最大化整个文本出现的概率：
$$L(\theta )=\prod _{t=1}^T\prod _{-m\le j\le m，j\ne 0}P(w_{t+j}|w_t,\theta )$$
损失函数：
$$J(\theta )=-\frac{1}{T}logL(\theta )=-\frac{1}{T}\sum _{t=1}^T\sum _{-m\le j\le m，j\ne 0}logP(w_{t+j}|w_t,\theta )\text{\hspace{1em}(2.2)}$$

2.2 word2vec中计算方法详解

假设vocabulary包含m个词，每个词向量长度为n, 对于每一个词，作为中心词(center)和非中心词(outside)时分别使用v和u两个向量表示。在计算完成后将两个向量平均作为最终词向量表示。
$$U_{m\times n}(outside)=\left[\begin{array}{c}{u}_1\\ u_2\\ ⋮\\ u_m\end{array}\right]$$
$$V_{m\times n}(center)=\left[\begin{array}{c}{v}_1\\ v_2\\ ⋮\\ v_m\end{array}\right]$$
对每一个词作为中心词时，计算概率分布。这里假定第4个词作为中心词时，有
$$D_{m\times 1}=U_{m\times n}\cdot v_4^T=\left[\begin{array}{c}{d}_1\\ d_2\\ ⋮\\ d_m\end{array}\right]$$
其中，d为与m个outside词的点积，由于两个向量的点乘可以表示其相似度，进一步可用于表示其出现的概率大小，从而得到概率表示：
$$P_{m\times 1}=softmax(D_{m\times 1})=\left[\begin{array}{c}{p}_1\\ p_2\\ ⋮\\ p_m\end{array}\right]$$
这里原理就很明显了，我们接下来需要做的，就是通过优化问题来更新矩阵U和V，从而使词向量模型需对出现在同一个context中的词赋予较大的概率。

2.3 高频词(the)引起的问题

通过以上计算过程可以知道，如果两个词出现在一个context的次数越频繁，那么他们的词向量就会越接近，这样一来像the这样的高频词，就会使它前后的词向量高度集中，从而导致一些问题。

三、优化基础

3.1 梯度下降

1. 梯度是指多元函数在某个点上升最快的方向，那么梯度的反方向当然就是下降最快的方向。从而得到直观的优化公式：
   $${\theta }_{new}={\theta }_{old}-\alpha {\nabla }_{\theta }J(\theta )$$
   此处${\nabla }_{theta}J(\theta )$为损失函数的梯度，$\alpha$为学习率或步长，是一个超参数。以上是对整个问题的矩阵表示，但在计算过程中，需要一个个的更新参数，所以有对单个参数${\theta }_j$表示版本：
   $${\theta }_j^{new}={\theta }_j^{old}-\alpha \frac{\partial }{\partial {\theta }_j^{old}}J(\theta )$$
   在高等数学（同济）中关于梯度的定义如下，及梯度是各个自变量的偏导组成的向量。
   

3.2 随机(stochastic)梯度下降（SGD）

3.1中提到的梯度下降，为了计算出参数的梯度，需要代入整个数据集，这样一次更新计算量非常大，因此提出随机梯度下降方法，即每一个更新都是从数据及中随机抽样部分数据（batch), 在词向量计算中对每一个window数据计算一次更新。

四、word vector优化过程

4.1 SGD引起的稀疏数据

由于使用一个窗口更新一次，由于${\nabla }_{\theta }{J}_t(\theta )$是各个词向量的偏导组成的向量，如果这个词没有出现，其偏导也就为0，因此梯度将非常稀疏。

对应方案：使用稀疏矩阵或者将词hash映射到具体向量，如果是分布式计算，必须避免大量的中间数据在节点之间的传送

4.2 两种词向量建模方案

1. Skip-gram(SG)：给定中心词预测窗口context(outsides)
2. Continous Bag of Words(CBOW)：给定窗口context预测中心词

4.3 训练效率提升方案

1. 负采样。目前为止仍然以更简单但是计算量大的传统softmax为主要方案, 即公式2.1中的分母（正则项）。
2. 由于经典方案正则化计算量太大，因此我们在作业二中使用负采样方案。其主要思想为：训练一个logistics regression分类器， 判断一个词语对是否来自于同一个context。
3. 损失函数：最大化如下函数：
   
   在作业二中，使用的损失函数为：
   $$J_{neg-sample}\left(\mathbf{o},{\mathbf{v}}_c,\mathbf{U}\right)=-\log \left(\sigma \left({\mathbf{u}}_o^{\top }{\mathbf{v}}_c\right)\right)-\sum _{k=1,k\sim P(w)}^K\log \left(\sigma \left(-{\mathbf{u}}_k^{\top }{\mathbf{v}}_c\right)\right)$$
   这里的$P(w)$为采样的概率分布，为了平衡高频词和低频次的影响，取$P(w)=\frac{U(w{)}^{3/4}}{Z}$, 这里$U(w)$为unigram分布，及按词频比例作为其概率分布，指数部分取3/4可以平滑词频的影响，分母Z表示正则化，将指数操作后（和不为1）的数值重新变为概率(和为1)。

4.4 统计共现(co-occurence)词对

1. 存在问题：存储共现矩阵稀疏（$O(n^2)$内存）
2. 解决办法：奇异值分解降维。可以使用numpy库中的np.lilalg.svd()函数。

五、验证及其他

5.1 两种验证方法

• 类比
• 训练完整的下游任务

5.2 其他

课程还介绍了很多词向量的其他细节、例如一词多义、词向量训练参数介绍及各种模型性能对比等，课程后半截听得有点迷糊，这里就不给出完整笔记了，如果以后需要冲刷再来补上。

六、作业

6.1 手写推导部分

感悟：当遇到矩阵或向量求导的时候，要每个元素拆开单独计算，第4小题比较典型。

1. 一行文字说明下面两个公式等价，即交叉熵损失与naive-softmax。
   $$J_{cross-entropy}=-\sum y_w\log \left({\hat{y}}_w\right)=-\log \left({\hat{y}}_o\right)$$
   $$J_{naive-softmax}\left({\mathbf{v}}_c,o,\mathbf{U}\right)=-\log P(O=o|C=c)$$
   答：由于$y_w$为0-1概率分布，因此$$\begin{gathered} J_{cross-entropy} \\ =-\sum y_w\log \left({\hat{y}}_w\right) \\ =-\sum (0,1)\cdot \log \left({\hat{y}}_w\right) \\ =-\log \left({\hat{y}}_{w1}{\hat{y}}_{w2}\dots {\hat{y}}_{wT}\right) \\ =-\log P(O=o|C=c) \end{gathered}$$

2. we know this deravatives:(这里第一种解法利用了softmax+交叉熵求导的一般规律，可以推导证明)
   解法一：$$\begin{gathered} \because J=CE(y,\hat{y}) \\ \hat{y}=softmax(\theta ) \\ \therefore \frac{\partial J}{\partial \theta }=(\hat{y}-y{)}^T \end{gathered}$$
   $y$ is a column vector in the above equation. So, we can use chain rules to solve the deravitive:
   $$\begin{array}{rlrl}\frac{\partial J}{\partial v_c}& =\frac{\partial J}{\partial \theta }\frac{\partial \theta }{\partial v_c}& =(\hat{y}-y)\frac{\partial U^T{v}_c}{\partial v_c}& =U^T(\hat{y}-y{)}^T\end{array}$$
   解法二：
   $$\begin{array}{rl}\frac{\partial J\left(v_c,o,U\right)}{\partial v_c}& =-\frac{\partial \left(u_o^T{v}_c\right)}{\partial v_c}+\frac{\partial \left(\log \left({\sum }_w\exp \left(u_w^T{v}_c\right)\right)\right)}{\partial v_c}\\ & =-u_o+\frac{1}{{\sum }_w\exp \left(u_w^T{v}_c\right)}\frac{\partial \left({\sum }_w\exp \left(u_w^T{v}_c\right)\right)}{\partial v_c}\\ & =-u_o+\sum _w\frac{\exp \left(u_w^T{v}_c\right)u_w}{{\sum }_w\exp \left(u_w^T{v}_c\right)}\\ & =-u_o+\sum _{w}p(O=w|C=c)u_w\\ & =-y_o{u}_o+\sum _w{\hat{y}}_w{u}_w(单个u_o)\\ & =-U^T\mathbf{y}+U^T\hat{\mathbf{y}}(全体u，这里限定O=o所以U实际代表一行）\\ & =U^T(\hat{y}-y)\end{array}$$

3. similar to the equation above. $$\begin{array}{rlrl}\frac{\partial J}{\partial v_c}& =\frac{\partial J}{\partial \theta }\frac{\partial \theta }{\partial U}& =(\hat{y}-y)\frac{\partial U^T{v}_c}{\partial U}& =v_c(\hat{y}-y{)}^T\end{array}$$

4. $x$为一个向量，求sigmod函数对x的偏导，结果可以用$\sigma (x)表示$。
   $$\sigma (x)=\frac{1}{1+e^{-x}}=\frac{e^x}{1+e^x}$$
   答：$sigmod(x)=\frac{1}{1+e^{-x}}$, 由于x为一个向量$x=(x_1,x_2,\dots ,x_n)$，而求导实际上是针对单个变量, 由于$\sigma (x)$是x的函数，所以求导结果应该是一个矩阵：
   $$\begin{array}{rl}\frac{\partial \sigma (x_i)}{\partial x_i}& =\frac{e^{-x_i}}{(1+e^{-x_i}{)}^2}=\frac{(1+e^{-x_i})-1}{(1+e^{-x_i}{)}^2}=\sigma (x)(1-\sigma (x))\\ \frac{\partial \sigma (x_i)}{\partial x_j}& =0\\ \therefore \frac{\partial \sigma (x)}{\partial x}& =\left[\begin{array}{cccc}{\sigma }^{\prime }(x_1)& 0& \dots & 0\\ 0& {\sigma }^{\prime }(x_2)& \dots & 0\\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& \dots & {\sigma }^{\prime }(x_n)\end{array}\right]\end{array}$$

sigmod 函数有一些特性： (1) $\sigma (-x)=1-\sigma (x)$ (2) ${\sigma }^{\prime }(x)=\sigma (x)(1-\sigma (x))$

5. 题目描述如图
   答：根据第四题有$$\begin{array}{rl}(1)\frac{\partial J}{\partial v_c}& =-\frac{{\sigma }^{\prime }(u_o^T{v}_c)u_o}{\sigma (u_o^T{v}_v)}+\sum _{k=1}^K\frac{{\sigma }^{\prime }(-u_k^T{v}_c)u_k}{\sigma (-u_k^T{v}_c)}\\ & =(\sigma (u_o^T{v}_c)-1)u_o+\sum _{k=1}^K(1-\sigma (-u_k^T{v}_c))u_k\\ & =(\sigma (u_o^T{v}_c)-1)u_o+\sum _{k=1}^K\sigma (u_k^T{v}_c)u_k\\ (2)\frac{\partial J}{\partial u_o}& =(\sigma (u_o^T{v}_c)-1)v_c(o\notin K)\\ (3)\frac{\partial J}{\partial u_k}& =\sigma (u_k^T{v}_c)v_c\end{array}$$
   从偏导可以看出，梯度更新时，使用负采样计算的参数量远远小于naive-softmax。

6.2 代码

github链接
实现word2vec, 实际上是在课程代码框架下填充部分代码。

七、收货与感想

这次课程完成时间比较长，当然收货也比较大，复习了一遍高数，终于勉强搞懂了矩阵向量求导，算是推公式入门选手了吧。