GloVe推导

Global Vectors for Word Representation (GloVe)

对比之前的方法

求词向量的两类主要方法：

1. 基于计数性的：共现矩阵

• 方法：基于SVD矩阵分解（LSA，HAL）
• 优点：有效利用全局统计信息
• 缺点：主要用来刻画词的相似度，在涉及到上下文的词类比任务上表现欠佳

2. 基于小窗口的：skip-gram和CBOW

• 方法：通过在局部上下文窗口中做预测来学习词向量
• 优点：能捕捉到超出词相似度的复杂语言模式（linguistic pattern）
• 缺点：不能利用全局的共现统计信息

Glove

• 方法：带权最小二乘模型，在全局的词共现计数的基础上训练
• 优点：
  ​ a. 生成具有有意义的子结构的向量空间，在词类比任务和词相似度任务上表现突出
  ​ b. 仅针对共现矩阵中的非零元素训练，能更快地实现更好的效果

共现矩阵X

设有共现矩阵$X$，其中$X_{ij}$表示词$j$在词$i$的上下文中出现的频次。令$X_i={\Sigma }_k{X}_{ik}$表示所有在词$i$的上下文中出现过的词的总次数，则词$j$在词$i$的上下文中出现的概率为：$P_{ij}=P\left(w_j|w_i\right)=\frac{X_{ij}}{X_i}$

tips：生成共现矩阵需要遍历整个语料库，尽管这是一笔昂贵的计算，但好在它只需要做一次。

最小二乘目标函数

在skip-gram模型中使用的是softmax来计算词$j$在词$i$的上下文中出现的概率：

$$Q_{ij}=\frac{\exp \left(u_j^T{v}_i\right)}{{\sum }_{w=1}^W\exp \left(u_w^T{v}_i\right)}$$

训练的全局交叉熵可以由如下公式计算得到：

$$J=-\sum _{i\in \text{corpus}}\sum _{j\in \text{context}(i)}\log Q_{ij}$$

把共现矩阵中的概率$P_{ij}$ 作为实际的标签，那么优化的过程可以转换为$Q_{ij}$ 不断逼近$P_{ij}$ 的过程：

$$J=-\sum _{i\in \text{corpus}}\sum _{j\in \text{context}(i)}\log |\frac{Q_{ij}}{P_{ij}}|$$

这一过程可以用最小二乘目标函数来表示：

$$J=-\sum _{i\in \text{corpus}}\sum _{j\in \text{context}(i)}(\log Q_{ij}-\log P_{ij}{)}^2$$

由于在语料库中词$i$和词$j$同时出现的情况可能会多次出现，因此可以将相同的$i$、$j$对归到一块来计算总Loss：

$$J=\sum _{i=1}^W\sum _{j=1}^W{X}_i(\log Q_{ij}-\log P_{ij}{)}^2$$

使用softmax的一个明显缺陷就是，概率分布$Q$需要归一化，也就意味着需要在整个词汇表中做昂贵的加法计算。为了避免繁重的计算，可以不做归一化，令${\hat{P}}_{ij}=X_{ij}$，${\hat{Q}}_{ij}=\exp \left(u_j^T{v}_i\right)$，则有：

$$\begin{gathered} \hat{J}=\sum _{i=1}^W\sum _{j=1}^W{X}_i{\left(\log {\hat{P}}_{ij}-\log {\hat{Q}}_{ij}\right)}^2 \\ =\sum _{i=1}^W\sum _{j=1}^W{X}_i{\left(u_j^T{v}_i-\log X_{ij}\right)}^2 \end{gathered}$$

通常还采用一个权重函数$f(x)=x^{3/4}$来进一步优化权重$Xi$，因为词频$Xij$过高时，权重不应该过分地增大。

为什么是 3/4？下面的一些例子可能让你有一些直观的了解：

$$is:0.9^{3/4}=0.92$$

$$Constitution:0.09^{3/4}=0.16$$

$$Bombastic:0.01^{3/4}=0.032$$

“Bombastic”现在被抽样的概率是之前的三倍，而“is”只比之前的才提高了一点点。