word2vec 的 Negative Sampling(负采样)技巧

Skip-gram 模型的负采样

在 Skip-gram 模型 中，softmax 的计算成本很大，因为它需要扫描整个词嵌入矩阵()来计算词汇表中所有词的分布概率，而词汇表的大小可能上百万甚至更多。

假设训练的语料库有  个不同的词汇，隐藏层是  维，这意味着每训练一次样本(采用随机梯度下降)，  中有  个神经元要更新， 中有  个神经元要更新，导致如果语料库非常庞大，计算会非常低效。

采用负采样：

从噪声分布中随机抽样  个负例(是超参数)，对于每次训练样本(已知正例对:  和 )， 就只用更新  个神经元。

无负采样的  更新：

有负采样的  更新：

负采样工作原理

使用负采样的 Skip-gram 模型不再使用 softmax 去计算概率分布，而是使用 Sigmoid 函数()去学习将正例(在中心词的上下文窗口内的词)从随机抽取的负例(不在中心词的上下文窗口内的词)中区分出来。也就是说训练一个 sigmoid 二分类器，只要模型能够从中找出正例就认为完成任务。

假设中心词是 “regression”，那么比起 "regression" + {"zebra", "pimples", "Gangnam-Style", "toothpaste", "idiot"}成对出现，"regression" + {"logistic", "machine", "sigmoid", "supervised", "neural"}成对出现的可能性更高。模型最大化正例对出现的概率，最小化负例对出现的概率。词向量不再是通过给定一个中心词来预测上下文词学习得到，而是认为如果模型能区分正例对和负例对，那么就学习到了好的词向量表示。

负采样将多分类任务转化为了二分类任务，而新的目标是给定任意一对中心词和词，去预测词  是否在中心词  的上下文窗口内。

词  在中心词  的上下文窗口内/词  是正例的概率：

 是  中的词向量，是由一个正例() 和  个反例()组成的集合中的一个元素()，也就是词汇表里的每个词都只需要被应用  次而不是  次。

负采样的损失函数

最大化正例对出现的概率同时最小化负例对出现的概率：

 等价于：

对  取对数简化求导：

运算：

式代入式：

 代入 sigmoid 函数定义：

对于机器学习，习惯最小化损失函数，即随机梯度下降的损失函数为：

梯度

sigmoid 函数的导数：

对  通过链式求导：

 是由两个词嵌入矩阵 ， 拼接起来的，分别进行求导。

输出矩阵求导

负采样中，每次训练只更新输出矩阵中的  个词向量()，分别对正例和负例求导：

词向量更新：

，可以合并表达为：

当 ，；当 ，

输入矩阵求导

每次训练，只更新输入矩阵中，中心词对应的词向量。

词向量更新：

实例演示

训练语料库为一本书《A Song of Ice and Fire》，含中心词的句子为 “Ned Stark is the most honorable man”，设置 “Ned” 为中心词，window=2，即“Stark”和“is”是其上下文词，从噪声分布中为每个正例对随机抽样  个负例(令=3)：pimples, zebra, idiot

正例对(Ned，Stack)

sigmoid 输出层是给定一个中心词，正例和负例的概率分布。

计算预测错误(prediction error)：

计算 ：

计算 ：

更新 ：

更新 ：

正例对(Ned，is)

sigmoid 输出层：

计算预测错误(prediction error)：

计算 ：

计算 ：

更新 ：

更新 ：

Reference

https://aegis4048.github.io/optimize_computational_efficiency_of_skip-gram_with_negative_sampling