Skip-gram model 与负采样

Skip-gram model

Skip-gram model 是[5]中提出的一种用于进行词向量表示的一种方法。此外还有Bag-of-Words 方法。Skip-gram model 是同过训练一个单层的神经网络，中心词作为输入来预测环境词。论文中给出的结构图如下:

image.png

举个例子，对于句子: “我喜欢吃火锅”，如果选取的中心词

为“吃”，那么其环境词就为:

=我， ，=火锅。对于不同的环境词其网络权重是相同的，因此对于这个句子我们可以得到的(中心词, 环境词)对也就是:

(吃，我), (吃，喜欢), (吃, 火锅)。

对于整个语料库中的所有句子引用这种方式就可得到最终的训练样本-中心词作为输入，环境词作为目标输出。训练阶段，输入的中心词和输出的环境词都会使用one-hot的方式向量化，然后使用梯度下降训练整个网络。在训练完成后，输入某个词的one-hot表示，projection层的输出就为最终的词向量。因此我们可以得出网络每一层的神经员的数量。假设词库大小为, 设定的词向量大小为, 那么输入层和输出层的大小分别为, 隐藏层的大小为。

存在的问题

但是直接使用这种方式训练存在一个较大的弊端。由中心词预测环境词一般可以看作一个多分类问题。也就是对于输入词，输出词作为其环境词的概率可以采用softmax函数来计算，为:

其中为词对应的参数，也就是从projection层到out层第个节点的参数。可以看出，分母需要遍历词表中所有的词，并计算其向量乘积的和。但是，在现实生活中很多情况下词表中的词数量巨大，可能超过。在这种情况下对sotfmax进行计算会花费很多时间，因此在[2]中提出可使用NEG(负采样，Negative sampling)的方式来估计误差。

NCE 与 NEG

NCE(噪声对比估计, Noise Contrastive Estimation) 在[3]中提出，并在[4]中应用与训练语言模型。其主要思想是将需要归一化的分布计算简化为计算一个二分类问题，也就是使用逻辑回归来分辨真正的输出以及从噪声中采样的样本。具体的推导可以看问[1]给出的链接。
NEG是对NCE的一种简化，NEG直接对负样本进行采样，所以称为负采样，最终的目标最大化为:

其中是指从负样本中采样出的词语，指采样的词的个数。这里的负样本是指非正确的输出样本，例如对于:

(吃，我)这个中心词-环境词对，“我”为正样本， 词库中的其他词都为负样本。

通俗一点讲，假设“我”这个词在词表中的下标为5，词表的大小为1000，那么我们希望最终输出向量第5个位置为1，其余位置为0。由于最终计算的时候采用的为逻辑回归的方式，因此省去了计算sotfmax的时间。并且，当计算最终输出时，我们并不计算所有节点的输出，而是只计算其中几个输出节点的输出，这也就是采样的过程。

实现

这里的实现主要参考了tensorflow中nce_loss。总结一下伪代码如下:

"""
以下代码忽略了batch维度
inputs: projection的输出
K: 采样的负样本个数
W: 计算逻辑回归的权重, shape=[|V|, dim]
b: 计算逻辑回归的bias, shape=|V|
io: 本次输出目标词对应的下标
sample(num): 进行num个负样本，输出负样本在词库中的词表。
look_up(w, idx): 返回w矩阵的第idx行
concat = tf.concat
stack = tf.stack
"""
sampled_idex = sample(K) # shape = |V|
all_idx = concat([sampled_idex, io], axis=0) # shape = |V| + 1
all_w = [look_up(w, id) for id in all_idx] #shape = [|V|+1, d_k]
all_b = [b[id]  for id in all_idx] # shape = |V| + 1
all_logits = matmul(inputs, transpose(all_w)) + all_b # shape = |V| + 1
labels = [1] + [0] * K # shape = |V| + 1
loss = sigmoid_cross_entropy_loss(all_logits, labels) # shape = 1

参考:

[1] “噪声对比估计”杂谈：曲径通幽之妙
[2] Distributed Representations of Words and Phrases and their Compositionality
[3] Noise-contrastive estimation A new estimation principleforunnormalized statistical models
[4] A fast and simple algorithm for training neural probabilisticlanguage models
[5] Efficient Estimation of Word Representations inVector Space