CS 224N总结

CS 224N网址：Stanford CS 224N | Natural Language Processing with Deep Learning

Lecture1

PPT网址：PowerPoint Presentation (stanford.edu)

这一讲主要讲了NLP研究的对象，我们如何表示单词的含义，以及Word2Vec方法的基本原理。

这里我们简单介绍一些Word2Vec方法的基本原理：人们认为，一个词往往与其上下文词的含义差不多，因此想要这些词的表达向量也差不多，我们定义一个窗口内的词为中心词和上下文词，如下图所示。

损失函数可写为：

• $J(\theta )=-\frac{1}{T}\log L(\theta )=-\frac{1}{T}{\sum }_{t=1}^T{\sum }_{\begin{array}{c}m\le j\le m\\ j\ne 0\end{array}}\log P\left(w_{t+j}\mid w_t;\theta \right)$

  • loss改写成对数是为了方便计算，这样所有的乘都会变成相加

• 为什么每个词要使用两个向量？（Lecture2的PPT中有提到，但不太详细）

  • 为了方便数学计算
    • softmax: $P(o\mid c)=\frac{\exp \left(u_o^T{v}_c\right)}{{\sum }_{w\in V}\exp \left(u_w^T{v}_c\right)}$
    • 可以注意到，在分母上，有这么一项 ${\sum }_{w\in V}{u}_w^T{v}_c$，如果我们将其对$v_c$求导，结果为${\sum }_{w\in V}{u}_w$。然而，如果我们不使用两组向量，则该项应该写为 ${\sum }_{w\in V}{v}_w^T{v}_c$，这里需要注意的是，$w$ 可能与 $c$ 相同，我们可以写成 ${\sum }_{w\in V,w\ne c}{v}_w^T{v}_c+v_c^T{v}_c$，对 $v_c$ 求导，结果为${\sum }_{w\in V,w\ne c}{v}_w+2v_c$，这会导致求导结果不如使用两种向量得到的结果容易理解。
  • 最终两个向量会很相似，但是不相同，我们取两个向量的平均来表达最终的word vector
  • 具体推导：01 Introduction and Word Vectors - The Sun Also Rises

Lecture2

PPT网址：cs224n-2023-lecture02-wordvecs2.pdf (stanford.edu)

Bag of words 模型：模型不考虑词的顺序，对一个词在不同位置的预测都是一样的

• Word2Vec的两种变体：
  • Skip-grams：给定中心词来预测上下文单词（我们展示的Word2Vec model就是这种形式）
  • Continuous Bag of Words(CBOW)：通过上下文单词来预测中心词

可以用来更新的方法：

• Gradient Descent（GD）：在所有样本上计算完梯度之后，再进行一次更新
• Stochastic Gradient Descent（SGD）：每次使用单个样本进行更新
• Mini-batch Gradient Descent（MBGD）：每次使用一批样本进行更新，介于上面两者之间

可以用来训练的 loss function：

• 朴素 softmax（简单，但是当类别比较多的时候，计算量很大）
• 优化的变种，比如层次softmax
• 负采样(negative sampling)

在上面，我们使用的loss function是朴素 softmax

• $J(\theta )=-\frac{1}{T}\log L(\theta )=-\frac{1}{T}{\sum }_{t=1}^T{\sum }_{\begin{array}{c}m\le j\le m\\ j\ne 0\end{array}}\log P\left(w_{t+j}\mid w_t;\theta \right)$

  • $P(w_{t+j}|w_t;\theta )=P(o|c)$，这一项的分母计算量很大，因此在标准的word2vec中，我们不采用这种形式，而是利用负采样方法

  • 负采样的核心思想：训练二元逻辑回归来区分一个真对（中心词与上下文窗口中的词）和一些噪音对（中心词与一些随机的词）

负采样的 loss function：

• 最大化 $J_t(\theta )=\log \sigma \left(u_o^T{v}_c\right)+{\sum }_{i=1}^k{\mathbb{E}}_{j\sim P(w)}\left[\log \sigma \left(-u_j^T{v}_c\right)\right]$
  • 我们在第一个对数中使两个词同时出现的概率最大化，在第二个对数中使噪声词的概率最小化
  • k代表采样的负样本个数
• 这可以写成 $J_{\text{neg-sample }}\left({\mathbf{u}}_o,{\mathbf{v}}_c,U\right)=-\log \sigma \left({\mathbf{u}}_o^T{\mathbf{v}}_c\right)-{\sum }_{k\in \{K\text{ sampled indices }\}}\log \sigma \left({\mathbf{u}}_k^T{\mathbf{v}}_c\right)$
  • 利用概率分布 $P(w)=U(w{)}^{3/4}/Z$ 来采样，$U(w)$是unigram分布

---

上面主要介绍了Word2Vec模型，它是一种基于local context window的预测模型（Direct prediction），对于学习word vector，还有另一类模型是count based global matrix factorization

• Direct Prediction优点是可以概括比相关性更为复杂的信息，缺点是对统计信息利用的不够充分
• Count based模型优点是训练快速，并且有效的利用了统计信息，缺点是对于高频词汇较为偏向，并且仅能概括词组的相关性

count based模型：构建一个词汇的共现矩阵，每一行是一个word，每一列是context。但是矩阵容易太大，我们希望word vector的维度不要太大，因此使用一些降维方法学习word的低维表示。

• 比较典型的是SVD

• GloVe（Global Vectors）：结合了local context window与（count based）词汇共现矩阵的方法

  • 详细介绍可见：CS224N笔记(二)：GloVe - 知乎 (zhihu.com)