Word2vec负采样

下文中的模型都是以Skip-gram模型为主。
 
1、论文发展
word2vec中的负采样(NEG)最初由 Mikolov在论文《Distributed Representations of Words and Phrases and their Compositionality》中首次提出来,是Noise-Contrastive Estimation(简写NCE,噪声对比估计)的简化版本。在论文中针对Skip-gram模型直接提出负采样的优化目标函数为:
其中Pn(w)是目标词不是w的上下文的概率分布。
论文中没有给出证明,到了2014年,Yoav Goldberg在论文《word2vec Explained: Deriving Mikolov et al.’s Negative-Sampling Word-Embedding Method》里对上述目标函数给出了推导。
 
2、原始的skip-gram模型的目标函数
如果没有采用负采样的话,那么skip-gram模型的目标函数为:
Word2vec负采样_第1张图片
其中p(c|w)表示的是当前词预测到的目标上下文的概率最大,C(w)是目标词w的所有上下文集合。
相应地可以简化为
Word2vec负采样_第2张图片
式中D是语料中所有单词和上下文的集合。
如果我们采用softmax函数的话,那么我们可以得到对应每个上下文的概率大小为:
Word2vec负采样_第3张图片
其中Vc和Vw可以看成是对应词c和词w的词向量。关于如何得到这个式子可以参考后面,那么将该式子代入上式并取log可以得到:
对上述目标函数求最大化,可以让相似的词具有相似的向量值。
 
3、采用负采样的目标函数
但是对上述目标函数进行优化,第二项需要对词典里的所有词进行优化,所以计算量比较大。如果换个角度考虑,如果我们将正常的上下问组合看成是1,不正常的上下文组合看成是0,那么问题转换为二分类问题,那么我们目标就是最大化下面的目标函数。
Word2vec负采样_第4张图片
将输出层的softmax函数改为sigmoid函数,那么
同样代入上式可以得到
但是这个目标函数存在问题,如果Vc=Vw,并且VcxVw足够大的话,就能取到最大值,这样所有词向量都是一样的,得到的词向量没有意义。所以考虑负采样,即引入负样本,那么
Word2vec负采样_第5张图片
那么得到
Word2vec负采样_第6张图片
则与Mikolov提出的式子是一致的。
 
4、如何推导得到目标函数
Word2vec负采样_第7张图片

 

5、举例
以“今天|天气|非常|不错|啊”举例,假设上下文只有一个词,选择目标词是“天气”,那么出现的情况有:
今天|天气,非常|天气,不错|天气,啊|天气
由于我们假设上下文只有一个词,那么在这些情况中只有【今天|天气,非常|天气】是正确的样本。
当我们采用【今天|天气】这个样本时,我们希望输入【天气】,会输出标签【今天】,其他概率都是0。
 
对于原始的skip-gram模型来说,这对应是一个4分类问题,当输入【今天|天气】时,那么我们可能出现的概率是P(今天|天气)、P(非常|天气)、P(不错|天气)和P(啊|天气),我们的目标就是让P(今天|天气)这个概率最大,但是我们得同时计算其他三类的概率,并在利用反向传播进行优化的时候需要对所有词向量都进行更新。这样计算量很大,比如我们这里就要更新5*100=500个参数(假设词向量维度是100维的)。
 
但是如果采用负采样,当输入【今天|天气】时,我们从【非常|不错|啊】中选出1个进行优化,比如【不错|天气】,即我们只需计算P(D=1|天气,今天)和P(D=0|天气,不错),并且在更新的时候只更新【不错】、【天气】和【今天】的词向量,这样只需更新300个参数,计算量大大减少了。
 
6、参考资料
[1]word2vec Parameter Learning Explained
[2]word2vec Explained: Deriving Mikolov et al.’s Negative-Sampling Word-Embedding Method
[3]Note on Word Representation
[4]Distributed Representations of Words and Phrases and their Compositionality
 

 

转载于:https://www.cnblogs.com/linhao-0204/p/9126037.html

你可能感兴趣的:(Word2vec负采样)