NLP中文词向量训练：word2vec（Negative Sampling）

一.基于Hierarchical Softmax的word2vec模型的缺点

Hierarchical Softmax ，使用霍夫曼树结构代替了传统的神经网络，可以提高模型训练的效率。但是如果基于Hierarchical Softmax的模型中所以词的位置是基于词频放置的霍夫曼树结构，词频越高的词在离根节点越近的叶子节点，词频越低的词在离根节点越远的叶子节点。也就是说当该模型在训练到生僻词时，需要走很深的路径经过更多的节点到达该生僻词的叶子节点位置，这样在训练的过程中，会有更多的θ_i向量要更新。

二.Negative Sampling模型

Negative Sampling是word2vec模型的另一种方法，采用了Negative Sampling（负采样）的方法来求解。

Negative Sampling与Hierarchical Softmax最大的不同它放弃了投影层到输出层的霍夫曼树结构，以CBOW模型训练为例，Negative Sampling每次选取一个中心词是w_0，若负采样别的词w_i,i=1,2,3…neg（一般neg值很小，不超过10），和他周围上下文共有2c个词，记为context(w)。其中中心词与context（w_0）相关，所以以context（w_0）作为输入，中心词w_0作为输出是一个正例。而context（w_0）作为输入，与每个w_i并不真实与输入相关的词作输出构成了neg个负例。一共有neg+1个训练样本来训练，这种训练方式就叫做Negative Sampling（负采样）训练。利用这一个正例和neg个负例进行二元逻辑回归，每次迭代都更新了θ_i（i=0,1,2…neg）和context(w)就可以得到每个词对应的θ_i向量和每个词的词向量。

Negative Sampling选取中心词，基于中心词的上下文词以及反例词示例：

假如现在存在的词汇表里有：Beijin Shanghai Guangzhou Shenzhen Chaoshan beef meatball is delicious
windy sunshine computer …若干词，其中 Chaoshan beef meatball is delicious 是一句话，我们选取这句话中meatball为中心词w_0，那么上下文context(w_0)是[Chaoshan,beef,is,delicious]，假设选取两个反例词Shanghai，sunshine为w_1,w_2。那么(context(w_0)，w_0)就是一个正例，(context(w_0),w_1)和(context(w_0),w_2)就是两个反例。训练这一个正例和两个反例，更新w_0,w_1,w_2对应的参数θ_w和context（w_0）中上下文的词向量。

一次迭代训练中，输入为Context（w_0），输出为w_0（正例），w_1，w_2。分别用梯度上升法依次更新θ_0，θ_1，θ_2和[Chaoshan]，[beef]，[is]，[delicious]对应的词向量。注意，这里的θ_i跟Hierarchical Softmax中一样，只是投影层到输出层的权重，不代表词向量。

三.Negative Sampling优化原理

给定一个训练样本，一个词w和它的上下文Context(w)，(Context(w)，w)作为一个正例。通过负采样选择了词汇表中其他一些词作为负例的输出值，(Context(w)，w_i)作为neg个负例，获得了负例子集NEG（w），对于正负样本，分别给定一个标签：

对于给定正样本(Context(w)，w)，对于现在的一个正样本{w}和neg个负样本NEG（w）中，我们希望最大化似然函数：

其中p(u|Context(w))代表的是正例词w+负例词NEG(W)其中一个词对应的概率：

通过sigmoid函数求每个样本的概率，我们希望最大化正例w的概率，最小化负例的概率。将g(w)变成对数似然函数，再使用梯度上升法，每次迭代更新context(w)中上下文词对应的词向量和θ_i。

基于CBOW训练方式的Negative Sampling训练伪代码如图所示：

先随机初始化所有词汇表的词向量，还有θ_i,在一次迭代中，输入几个上下文词context（w）词向量求和平均以后，开始从中心词w和负例词NEG（w）依次反向对与其对应的θ_i梯度上升法更新θ_i和context（w）上下文的词向量。

四.Negative Sampling选取负例词原理

频率更高的词应该要有更高的概率被采样，将所有词根据词的词频放在长度为1的线段中随机选取符合我们的设定的采样方法：

其中counter（w）是w的词频于是我们公平的将不同词频的词放到了长度为1的线段中，如图所示：

word2vec中，我们对这个长度为1的线段改成长度为M，这个长度M的线段刻度之间是等间隔的，即1/M:

只要每次生成随机数0~M之间的整数，这样就能选到对应I_i的词了，每次取neg个词，如果选到的负例词刚好是中心词w本身，则跳过继续重新生成随机数0~M去找新的负例词。

五.总结

Negative Sampling相比于Hierarchical Softmax，摒弃了投影层到输出层的霍夫曼树结构，改成全连接。Negative Sampling虽然投影层到输出层是全连接，但是每次只会取输出层中的中心词和少数用作负例的词进行梯度上升法更新θ_i和context（w）上下文词对应的词向量，并没有像DNN中对所有位置进行计算。这样相比于Hierarchical Softmax，在对生僻词进行训练时，训练时要找的反例词个数不变，所以每次训练更新的θ_i参数的个数不变，花费的训练时间不变。这样就会让训练速度更稳定，不会因为生僻词而使训练耗费更多的时间,所以Negative Sampling训练生僻词的词向量会更稳定更快些。

Word2vec的训练方式有两种，分别是CBOW和Skip-gram。Word2vec训练词向量的加速训练方式有两种，一种是Hierarchical Softmax，一种是Negative Sampling。Word2vec训练出来的词向量效果挺好，其训练出来的词向量可以衡量不同词之间的相近程度。但是word2vec也存在缺点，因为在使用context（w）中并没有考虑w上下文的词序问题，这就造成了训练时输入层所有的词都是等价的，这样训练出来的词向量归根结底只包含大量语义，语法信息。所以一般想拥有比较好的词向量，还是应该在一个有目标导向的神经网络中训练，比如目标是情感分析，在这样的神经网络中去取得第一层embedding层作为词向量，其表达的效果应该会比word2vec训练出来的效果好得多，当然一般我们可能不需要精准表达的词向量，所以用word2vec来训练出词向量，也是一种可选择的快速效率的方法。

 

参考：https://www.cnblogs.com/coshaho/p/9571093.html