word2vec原理

1.背景

  2013年，Google开源了一款用于词向量计算的工具—word2vec，引起了工业界和学术界的关注。首先，word2vec可以在百万数量级的词典和上亿的数据集上进行高效地训练；其次，该工具得到的训练结果——词向量(word embedding)，可以很好地度量词与词之间的相似性。随着深度学习在自然语言处理中应用的普及，很多人误以为word2vec是一种深度学习算法。其实word2vec算法的背后是一个浅层神经网络。另外需要强调的一点是，word2vec是一个计算word vector的开源工具。当我们在说word2vec算法或模型的时候，其实指的是其背后用于计算word vector的CBoW模型和Skip-gram模型。

2.统计语言模型

什么是统计语言模型呢？

简单来说，统计语言模型就是用来计算一个句子的概率的概率模型，它通常基于一个语料库来构建。通俗来说就是让整条语句看起来是一句人话。

如何计算一段文本序列在某种语言下出现的概率？

例如，在机器翻译的问题中，如果我们知道了目标语言中每句话的概率，就可以从候选集合中挑选出最合理的句子做为翻译结果返回。

统计语言模型给出了这一类问题的一个基本解决框架。对于一段文本序列$S=w_1,w_2,...,w_T$ ， 它的概率可以表示为：
$$P(S)=P(w_1,w_2,...,w_T)=\prod _{t=1}^{T}p(w_t|w_1,w_2,...,w_{t-1})$$
即将序列的联合概率转化为一系列条件概率的乘积。问题变成了如何去预测这些给定previous words下的条件概率：$p(w_t|w_1,w_2,...,w_{t-1})$。 一般来说，语言模型都是为了使得条件概率 $p(w_t|w_1,w_2,...,w_{t-1})$ 最大化，不过考虑到近因效应，当前词只与距离它比较近的n个词更加相关(一般n不超过5)，而非前面所有的词都有关。 上述公式可以近似为：
$$p(w_t|w_1,w_2,...,w_{t-1})\approx p(w_t|w_{t-(n+1)},...,w_{t-1})$$
N-gram模型仍有其局限性。

• 首先，由于参数空间的爆炸式增长，它无法处理更长程的context($N>3$)。

  • 

• 其次，它没有考虑词与词之间内在的联系性。

  • 例如：“the cat is walking in the bedroom"​这句话。如果在训练语料中看到了很多类似“the dog is walking in the bedroom”或是“the cat is running in the bedroom”这样的句子；那么，哪怕此前没有见过这句话"the cat is walking in the bedroom”，也可以从“cat”和“dog”（“walking”和“running”）之间的相似性，推测出这句话的概率。

然而， Ngram模型做不到。 因为Ngram本质上是将词当做一个个孤立的原子单元(atomic unit)去处理的。这种处理方式对应到数学上的形式是一个个离散的one-hot向量(除了一个词典索引的下标对应的方向上是1，其余方向上都是0)。 例如:对于一个大小为5的词典：{“I”, “love”, “nature”, “luaguage”, “processing”}，其中的“nature”对应的one-hot向量为：$[0,0,1,0,0]$。显然，one-hot向量的维度等于词典的大小。 在动辄上万甚至百万词典的实际应用中，面临着巨大的维度灾难问题(The Curse of Dimensionality)。

3.神经语言模型

NNLM最初由Bengio在2003年发表的一篇论文《A Neural Probabilistic Language Mode》中提出来的，word2vec便是从其中简化训练而来。

NNLM模型的基本思想可以概括如下：

1. 假定词表中的每一个word都对应着一个连续的特征向量；
2. 假定一个连续平滑的概率模型，输入一段词向量的序列，可以输出这段序列的联合概率；
3. 同时学习词向量的权重和概率模型里的参数。

将整个模型拆分成两部分加以理解：

• 一个线性的Embedding层
• 将输入的$N-1$个one-hot词向量，通过一个共享的$D\times V$的矩阵$C$，映射为$N-1$个分布式的词向量(distributed vector)。其中，$V$是词典的大小，$D$是Embedding向量的维度（一个先验参数）。C矩阵里存储了要学习的word vector。
• 一个简单的前向反馈神经网络$g$
• 它由一个tanh隐层和一个softmax输出层组成。通过将Embedding层输出的$N-1$个词向量映射为一个长度为$V$的概率分布向量，从而对词典中的word在输入context下的条件概率做出预估： $p(w_i|w_1,w_2,...,w_{t-1})\approx f(w_i,w_{t-1},...,w_{t-n+1})=g(w_i,C(w_{t-n+1}),...,C(w_{t-1}))$

通过最小化一个cross-entropy的正则化损失函数来调整模型的参数$\theta$：
$$L(\theta )=\frac{1}{T}\sum _t\log f(w_t,w_{t-1},...,w_{t-n+1})+R(\theta )$$
其中，模型的参数 $\theta$ 包括了Embedding层矩阵 $C$ 的元素，和前向反馈神经网络模型 $g$ 里的权重。这是一个巨大的参数空间。

在用SGD学习更新模型的参数时，并不是所有的参数都需要调整（例如未在输入的context中出现的词对应的词向量）。计算的瓶颈主要是在softmax层的归一化函数上（需要对词典中所有的word计算一遍条件概率）。

神经语言模型解决了两个问题：

• 统计语言模型里关注的条件概率$p(w_t|context)$的计算
• 向量空间模型里关注的词向量的表达

通过引入连续的词向量和平滑的概率模型，使得可以在一个连续空间里对序列概率进行建模，从而从根本上缓解数据稀疏性和维度灾难的问题。另一方面，以条件概率$p(w_t|context)$为学习目标去更新词向量的权重，具有更强的导向性。

4.CBOW & Skip-gram Model

NNLM存在的几个问题：

• NNLM模型只能处理定长的序列。 在03年的论文里，Bengio等人将模型能够一次处理的序列长度N提高到了5，虽然相比bigram和trigram已经是很大的提升，但依然缺少灵活性。
• NNLM的训练太慢了。 即便是在百万量级的数据集上，即便是借助了40个CPU进行训练，NNLM也需要耗时数周才能给出一个稍微靠谱的解来。

这时Mikolov注意到，原始的NNLM模型的训练其实可以拆分成两个步骤：

1. 用一个简单模型训练出连续的词向量；
2. 基于词向量的表达，训练一个连续的Ngram神经网络模型。

而NNLM模型的计算瓶颈主要是在第二步。

如果我们只是想得到word的连续特征向量，是不是可以对第二步里的神经网络模型进行简化呢？

Mikolov是这么想的，也是这么做的。他在2013年一口气推出了两篇paper，并开源了一款计算词向量的工具——至此，word2vec横空出世，主角闪亮登场。

在word2vec中提出了两个模型(假设上下文窗口为3，图来自2013年Mikolov的原始论文，注意这里没有隐藏层，只有输入层、投影层、输出层，且输入层到投影层不带权重，投影层到输出层带权重)

• CBOW(Continuous Bag-of-Word)：以上下文词汇预测当前词，即用$w_{t-2}、w_{t-1}、w_{t+1}、w_{t+2}$去预测 $w_t$。

• SkipGram：以当前词预测其上下文词汇，即用$w_t$去预测 $w_{t-2}、w_{t-1}、w_{t+1}、w_{t+2}$。

5.基于Hierarchical Softmax的模型

5.1 基本介绍

  传统的神经网络词向量语言模型，里面一般有三层，输入层(词向量)，隐藏层和输出层(softmax层)。最大的问题在于从隐藏层到输出的softmax层的计算量很大，因为要计算所有词的softmax概率，再去找概率最大的值。这个模型如下图所示。其中$V$是词汇表的大小，

word2vec对这个模型做了改进，

• 首先，对于从输入层到隐藏层的映射，没有采取神经网络的线性变换加激活函数的方法，而是采用简单的对所有输入词向量求和并取平均的方法。

  • 输入的是三个4维词向量：$(1,2,3,4),(9,6,11,8),(5,10,7,12)$,那么word2vec映射后的词向量就是$(5,6,7,8)$。由于这里是从多个词向量变成了一个词向量。

• 从隐藏层到输出的softmax层这里的计算量做改进。

• 为了避免要计算所有词的softmax概率，word2vec采样了霍夫曼树来代替从隐藏层到输出softmax层的映射。

Q: 如何映射呢？

  由于把之前所有都要计算的从输出softmax层的概率计算变成了一颗二叉霍夫曼树，那么softmax概率计算只需要沿着树形结构进行就可以了。如下图所示，沿着霍夫曼树从根节点一直走到叶子节点的词$w_2$。

  与神经网络语言模型相比，霍夫曼树的所有内部节点就类似之前神经网络隐藏层的神经元, 其中，根节点的词向量对应投影后的词向量，而所有叶子节点就类似于神经网络softmax输出层的神经元，叶子节点的个数就是词汇表的大小。在霍夫曼树中，隐藏层到输出层的softmax映射不是一下子完成的，而是沿着霍夫曼树一步步完成的，因此这种softmax取名为"Hierarchical Softmax"。

Q： 如何“沿着霍夫曼树一步步完成”呢？

  在word2vec中，采用了二元逻辑回归的方法，即规定沿着左子树走，那么就是负类(霍夫曼树编码1)，沿着右子树走，那么就是正类(霍夫曼树编码0)。判别正类和负类的方法是使用sigmoid函数，即：
$$P(+)=\sigma (x_w^T\theta )=\frac{1}{1+e^{-x_w^T\theta }}$$
其中 $x_w$ 是当前内部节点的词向量，而 $\theta$ 则是需要从训练样本求出的逻辑回归的模型参数。

Q： 使用霍夫曼树有什么好处呢？

• 由于是二叉树，之前计算量为$V$,现在变成了$lo{g}_{2}V$。
• 由于使用霍夫曼树是高频的词靠近树根，这样高频词需要更少的时间会被找到，这符合我们的贪心优化思想。

容易理解，被划分为左子树而成为负类的概率为$P(-)=1-P(+)$。在某一个内部节点，要判断是沿左子树还是右子树走的标准就是看$P(-),P(+)$谁的概率值大。 而控制$P(-),P(+)$谁的概率值大的因素一个是当前节点的词向量，另一个是当前节点的模型参数$\theta$(从公式里就能看出来)。

对于上图中的$w_2$，如果它是一个训练样本的输出，那么我们期望对于里面的隐藏节点 $n(w_2,1)$ 的 $P(-)$ 概率大，$n(w_2,2))$ 的$P(-)$ 概率大，$n(w_2,3)$ 的 $P(+)$ 概率大。

目标就是找到合适的所有节点的词向量和所有内部节点 $\theta$, 使训练样本达到最大似然。那么如何达到最大似然呢？

5.2 梯度计算

使用最大似然法来寻找所有节点的词向量和所有内部节点 $\theta$。先拿上面的 $w_2$ 例子来看，我们期望最大化下面的似然函数：
$$\prod _{i=1}^{3}P(n(w_i),i)=(1-\frac{1}{1+e^{-x_w^T{\theta }_1}})(1-\frac{1}{1+e^{-x_w^T{\theta }_2}})\frac{1}{1+e^{-x_w^T{\theta }_3}}$$
对于所有的训练样本，我们期望最大化所有样本的似然函数乘积。

为了方便，我们定义：

• 输入的词为$w$ ,其从输入层词向量求和平均后的霍夫曼树根节点词向量为 $x_w$, 从根节点到 $w$所在的叶子节点，包含的节点总数为$l_w$,
• $w$ 在霍夫曼树中从根节点开始，经过的第 $i$ 个节点表示为 $p_i^w$ ,对应的霍夫曼编码为 $d_i^w\in \{0,1\}$ ,其中 $i=2,3,...l_w$。而该节点对应的模型参数表示为 ${\theta }_i^w$, 其中 $i=1,2,...l_{w-1}$，没有 $i=l_w$ 是因为模型参数仅仅针对于霍夫曼树的内部节点。

定义$w$经过的霍夫曼树某一个节点$j$的逻辑回归概率为$P(d_j^w|x_w,{\theta }_{j-1}^w)$，其表达式为：
$$P(d_j^w|x_w,{\theta }_{j-1}^w)=\{\begin{array}{ll}\sigma (x_w^T{\theta }_{j-1}^w)& d_j^w=0\\ 1-\sigma (x_w^T{\theta }_{j-1}^w)& d_j^w=1\end{array}$$
那么对于某一个目标输出词$w$,其最大似然为：
$$\prod _{j=2}^{l_w}P(d_j^w|x_w,{\theta }_{j-1}^w)=\prod _{j=2}^{l_w}[\sigma (x_w^T{\theta }_{j-1}^w){]}^{1-d_j^w}[1-\sigma (x_w^T{\theta }_{j-1}^w){]}^{d_j^w}$$
在word2vec中，由于使用的是随机梯度上升法，所以并没有把所有样本的似然乘起来得到真正的训练集最大似然，仅仅每次只用一个样本更新梯度，这样做的目的是减少梯度计算量。这样我们可以得到$w$的对数似然函数$L$如下：
$$L=log\prod _{j=2}^{l_w}P(d_j^w|x_w,{\theta }_{j-1}^w)=\sum _{j=2}^{l_w}\left((1-d_j^w)log\left[\sigma (x_w^T{\theta }_{j-1}^w)\right]+d_j^{w}log\left[1-\sigma (x_w^T{\theta }_{j-1}^w)\right]\right)$$
要得到模型中 $w$ 词向量和内部节点的模型参数 $\theta$, 使用梯度上升法即可。首先我们求模型参数 ${\theta }_{j-1}^w$ 的梯度：
$$\begin{array}{rl}\frac{\partial L}{\partial {\theta }_{j-1}^w}& =(1-d_j^w)\frac{(\sigma (x_w^T{\theta }_{j-1}^w)(1-\sigma (x_w^T{\theta }_{j-1}^w)}{\sigma (x_w^T{\theta }_{j-1}^w)}{x}_w-d_j^w\frac{(\sigma (x_w^T{\theta }_{j-1}^w)(1-\sigma (x_w^T{\theta }_{j-1}^w)}{1-\sigma (x_w^T{\theta }_{j-1}^w)}{x}_w\\ & =(1-d_j^w)(1-\sigma (x_w^T{\theta }_{j-1}^w))x_w-d_j^w\sigma (x_w^T{\theta }_{j-1}^w)x_w\\ & =(1-d_j^w-\sigma (x_w^T{\theta }_{j-1}^w))x_w\end{array}$$
${\theta }_{j-1}^w$的更新公式为：
$${\theta }_{j-1}^w:={\theta }_{j-1}^w+\eta \left[1-d_j^w-\sigma (x_w^T{\theta }_{j-1}^w)\right]x_w$$
$\eta$表示学习率。

同样的方法，可以求出$x_w$的梯度表达式如下：
$$\frac{\partial L}{\partial x_w}=\sum _{j=2}^{l_w}(1-d_j^w-\sigma (x_w^T{\theta }_{j-1}^w)){\theta }_{j-1}^w$$
有了梯度表达式，我们就可以用梯度上升法进行迭代来一步步的求解我们需要的所有的${\theta }_{j-1}^w$和$x_w$。

5.3 基于Hierarchical Softmax的CBOW模型

CBOW模型(上下文词预测当前词)的网络结构，包括三层：输入层、投影层和输出层。

定义词向量的维度大小 $M$，以及CBOW的上下文大小 $2c$，这样对于训练样本中的每一个词，其前面的 $c$ 个词和后面的 $c$ 个词作为了CBOW模型的输入,该词本身作为样本的输出，期望softmax概率最大。

首先 需要先将词汇表建立成一颗霍夫曼树。

• 输入层：包含上下文中$2c$个词的词向量

• 投影层：将输入层的$2c$个两个做求和积累
  $$x_w=\frac{1}{2c}\sum _{i=1}^{2c}{x}_i$$

• 输出层：对应一棵二叉树(Huffman树)，由语料库中出现过的词当作叶子结点，各个词的频率当作权值构建的一棵Huffman树。(叶子结点的个数：$N$(词典的所有词)，非叶子结点：$N-1$)。

构建完Huffman树之后， 通过梯度上升法来更新的${\theta }_{j-1}^w$和$x_w$，注意这里的$x_w$是由$2c$个词向量相加而成，梯度更新完毕后会用梯度项直接更新原始的各个$x_i(i=1,2,...,2c)$，即：
$$\begin{gathered} {\theta }_{j-1}^w={\theta }_{j-1}^w+\eta (1-d_j^w-\sigma (x_w^T{\theta }_{j-1}^w))x_w \\ {x}_i=x_i+\eta \sum _{j=2}^{l_w}(1-d_j^w-\sigma (x_w^T{\theta }_{j-1}^w)){\theta }_{j-1}^w(i=1,\mathrm{2..},2c) \end{gathered}$$
其中 $\eta$ 为梯度上升法的步长。

基于Hierarchical Softmax的CBOW模型算法流程，梯度迭代使用了随机梯度上升法：

输入：基于CBOW的语料训练样本，词向量的维度大小$M$，CBOW的上下文大小$2c$,步长$\eta$

输出：霍夫曼树的内部节点模型参数 $\theta$，所有的词向量$w$

1. 基于语料训练样本建立霍夫曼树。

2. 随机初始化所有的模型参数 $\theta$，所有的词向量 $w$

3. 进行梯度上升迭代过程，对于训练集中的每一个样本 $(context(w),w) 做如下处理：

   a) $e=0$，计算$x_w=\frac{1}{2c}\sum _{i=1}^{2c}{x}_i$

   b) for $j=2$ to $l_w$:

$$\begin{gathered} f=\sigma (x_w^T{\theta }_{j-1}^w) \\ g=(1-d_j^w-f)\eta \\ e=e+g{\theta }_{j-1}^w \\ {\theta }_{j-1}^w={\theta }_{j-1}^w+g{x}_w \end{gathered}$$
​ c) 对于$context(w)$中的每一个词向量$x_i$(共$2c$个)进行更新：
$$x_i=x_i+e$$
​ d) 如果梯度收敛，则结束梯度迭代，否则回到步骤3继续迭代。

5.4 基于Hierarchical Softmax的Skip-Gram模型

Skip-Gram模型(当前词预测上下文词)的网络结构，包括三层：输入层、投影层和输出层。

定义词向量的维度大小 $M$，以及CBOW的上下文大小 $2c$， 对于训练样本中的每一个词，该词本身作为样本的输入， 其前面的 $c$ 个词和后面的 $c$ 个词作为了Skip-Gram模型的输出，期望这些词的softmax概率比其他的词大。

首先 需要先将词汇表建立成一颗霍夫曼树。

• 输入层：只包含当前样本的中心词 $w$的词向量 $\mathbf{v}(w)$
• 投影层：将$\mathbf{v}(w)$ 投影到$\mathbf{v}(w)$，投影层是多余的
• 输出层：对应一棵二叉树(Huffman树)，由语料库中出现过的词当作叶子结点，各个词的频率当作权值构建的一棵Huffman树。(叶子结点的个数：$N$(词典的所有词)，非叶子结点：$N-1$)。

构建完Huffman树之后， 通过梯度上升法来更新我们的${\theta }_{j-1}^w$和$x_w$，注意这里的$x_w$周围有$2c$个词向量， 此时期望$P(x_i|x_w),i=1,\mathrm{2...2}c$最大。 由于上下文是相互的，在期望$P(x_i|x_w),i=1,\mathrm{2...2}c$最大化的同时，反过来也期望$P(x_w|x_i),i=1,\mathrm{2...2}c$最大。那么是使用$P(x_i|x_w))$好还是$P(x_w|x_i)$好？

word2vec使用了后者，好处就是在一个迭代窗口内，不是只更新 $x_w$ 一个词，而是 $x_i(i=1,\mathrm{2...2}c)$ 共 $2c$ 个词。这样整体的迭代会更加的均衡。因此，Skip-Gram模型并没有和CBOW模型一样对输入进行迭代更新，而是对 $2c$ 个输出进行迭代更新。

基于Hierarchical Softmax的Skip-Gram模型算法流程，梯度迭代使用了随机梯度上升法：

输入：基于 Skip-Gram 的语料训练样本，词向量的维度大小$M$， Skip-Gram 的上下文大小$2c$,步长$\eta$

输出：霍夫曼树的内部节点模型参数$\theta$，所有的词向量$w$

1. 基于语料训练样本建立霍夫曼树。

2. 随机初始化所有的模型参数 $\theta$，所有的词向量$w$

3. 进行梯度上升迭代过程，对于训练集中的每一个样本$(context(w),w)$做如下处理：

   a) for $i=1$ to $2c$:

   ​ i) $e=0$

   ​ ii) for $j=2$ to $l_w$:

$$\begin{gathered} f=\sigma (x_w^T{\theta }_{j-1}^w) \\ g=(1-d_j^w-f)\eta \\ e=e+g{\theta }_{j-1}^w \\ {\theta }_{j-1}^w={\theta }_{j-1}^w+g{x}_w \end{gathered}$$

​ iii)
$$x_i=x_i+e$$
​ b) 如果梯度收敛，则结束梯度迭代，否则回到步骤a继续迭代。

5.5.举个栗子

假设2014年世界杯期间，从新浪微博中抓取了若干条与足球相关的微博，经统计，“我”、“喜欢”、“观看”、“巴西”、“足球”、“世界杯”这个六个词出现的次数分别为15，8，6，5，3，1。这6个词的Huffman编码，其中约定(词频大的)左孩子结点编码为1，(词频较小)右孩子结点编码为0。“我”、“喜欢”、“观看”、“巴西”、“足球”、“世界杯”这个六个词的Huffman编码为：0,111,110,101,1001,1000。

现在考虑词$w="足球"$的情形。

• 从根结点到足球结点由4条红色边串起来的5个结点构成路径$p^w$，其路径长度$l_w=5$
• 路径$p^w$上的5个结点分别为：$p_1^w,p_2^w,p_3^w,p_4^w,p_5^w$，其中$p_1^w$对应根结点
• $d_2^w,d_3^w,d_4^w,d_5^w$分别为$1,0,0,1$，即足球的Huffman编码为$1001$
• ${\theta }_1,{\theta }_2,{\theta }_3,{\theta }_4$分别表示路径$p^w$上4个非叶子结点对应的向量

从根结点到“足球”叶子结点，中间经过了4个分支(每条红色的边对应一次分支)，而每一次分支可以视为一次二分类。Huffman编码为1的结点定义为负类，编码为0的结点定义为正类(这只是一个约定)。

对于从根结点到“足球”叶子结点，经过了4次二分类，每次分类的结果的概率如下：

• 第1次：$p(d_2^w|x_w,{\theta }_1^w)=1-\sigma (x_w^T{\theta }_1^w)$
• 第2次：$p(d_3^w|x_w,{\theta }_2^w)=\sigma (x_w^T{\theta }_2^w)$
• 第3次：$p(d_4^w|x_w,{\theta }_3^w)=\sigma (x_w^T{\theta }_3^w)$
• 第4次：$p(d_5^w|x_w,{\theta }_4^w)=1-\sigma (x_w^T{\theta }_4^w)$

所以要求的$p(足球|Context(足球))$等于上述4个概率的乘积
$$p(足球|Context(足球))=\prod _2^{5}p(d_j^w|x_w,{\theta }_{j-1}^w)$$

5.6 分层softmax(Hierachical Softmax)思想

Hierachical Softmax的基本思想就是首先将词典中的每个词按照词频大小构建出一棵Huffman树，保证词频较大的词处于相对比较浅的层，词频较低的词相应的处于Huffman树较深层的叶子节点，每一个词都处于这棵Huffman树上的某个叶子节点。

• Hierachical Softmax 将原本的一个$|V|$分类问题变成了$log|V|$次的二分类问题。

• 原先要计算$P(w_t|c_t)$的时候，因为使用的是普通的softmax，势必要求词典中的每一个词的概率大小 ，那么如何减少计算量呢？

• 计算当前词 $w_t$ 在其上下文中的概率大小，只需要把它变成在Huffman树中的路径预测问题就可以了，因为当前词 $w_t$ 在Huffman树中对应到一条路径，这条路径由这棵二叉树中从根节点开始，经过一系列中间的父节点，最终到达当前这个词的叶子节点而组成，那么在每一个父节点上，都对应的是一个二分类问题（本质上就是一个LR分类器），而Huffman树的构造过程保证了树的深度为$log|V|$，所以也就只需要做$log|V|$次二分类便可以求得 $P(w_t|c_t)$ 的大小。

• 层次化softmax改变了原来的模型结构。
  原来是$1\ast V$(输入one-hot)，经过$V\ast D$的矩阵(input-embedding) ，再经过$D\ast V$矩阵(output-embedding)，即一系列矩阵乘法$(1,V)\ast (V,D)\ast (D,V)=(1,V)$【其中的第一次乘法，一般用查表的方式直接读取，不用相乘】,再softmax，得到目标词是词典中每个词的概率。
  使用层次化softmax时，output-embedding被取消了，查表后直接用(1,D)的向量与每个中间路径节点对应的一个向量${\gamma }_n$【形状为$(D,1)$】，进行相乘，得到一个scalar，再经过sigmoid，转为一个0到1之间的小数，此数从就是从树（树是二叉树，树的每个叶子节点都对应一个单词）的根节点到某个叶子节点的路径上每次在中间节点选择向左(也可定为向右)走的概率。

路径上每条边的概率进行连乘，就是从根节点到叶子节点的总的概率，也就是模型的预测值为该叶子节点（目标单词）的概率。层次化softmax的目标函数就是最大化目标词的路径概率，换句话说，我们只需要关注目标词的路径概率即可，而目标词是已知的，完全不需要计算其他的词的路径概率。这点是后续优化措施的关键。

5.7 思考

1.层次化softmax的优点体现在哪里？

计算预测输出值为每个单词的概率时，由于概率是从根节点到叶子节点的路径上的边进行连乘，也就是计算量与目标词（叶子节点）的路径长度成正比，原来的softmax的目标函数在反向传播时需要求导，而求导时，由于分母是e的指数的累加和，导致必须算出所有单词的概率，计算量是与词表大小V成正比。

2.层次化softmax的树是二叉树，路径长度也就是树的高度，假设是满二叉树，则树高= $V$ 取2为底的对数值，远远小于 $V$，节省了很多计算过程。比如一个大小为 $1024$ 的词典，原来softmax是 $1024$ 个e的指数计算，现在是 $log1024=10$ 次sigmoid值再连乘，共节省了$1024-10=1014$ 次计算。是否还可以进一步优化？

可以。以上表述中层次化的softmax用到的树，一般认为是满的二叉树，也就是树的高度为 $logV$，其实还有优化的空间。因为目标词的概率仅与根节点到目标词的路径长度有关，如果我们能够优化根节点到目标词的路径长度，就可以进一步节省计算。什么二叉树的根节点到叶子节点的路径长度最短？答案是哈夫曼树。构建哈夫曼树时，比较节点的权重大小是依据该节点(也就是单词)的词频，词频大的放在离根节点近的地方，词频小的远离根节点。如此词频大的词只需要很少的比较次数，路径就结束了，计算次数比较少。

6.基于Negative Sampling的模型

6.1 背景

  使用霍夫曼树来代替传统的神经网络，可以提高模型训练的效率。但是如果我们的训练样本里的中心词$w$是一个很生僻的词，那么就得在霍夫曼树中辛苦的向下走很久了。能不能不用搞这么复杂的一棵霍夫曼树，将模型变的更加简单呢？

Negative Sampling就是这么一种求解word2vec模型的方法，它摒弃了霍夫曼树，采用了Negative Sampling(负采样)的方法来求解。

6.2 审视训练过程

对于文本“”Thou shalt not make a machine in the likeness of a human mind“而言：如何使用它来训练一个能预测相邻词汇的自然语言模型。

• 构造样本，假设窗口大小=5

• 训练过程，用not预测thou
  将特征输入到未经训练的模型，让它预测一个可能的相邻单词。该模型会执行三个步骤并输入预测向量(对应于单词表中每个单词的概率)。由于模型未经训练，该阶段的预测肯定是错误的。

  • 预测结果

  如上图一样，预测结果极度不靠谱，not本该预测thou，但其却将 $0.4$ 的概率预测成了taco，预测错了，如何解决？计算损失loss，利用梯度

• 误差计算

现在误差向量可以被用于更新模型了，所以在下一轮预测中，如果用not作为输入，我们更有可能得到thou作为输出了。接下来继续对数据集内下一份样本进行同样的操作，直到遍历所有的样本。这就是一轮(epoch)了。我们再多做几轮(epoch)，得到训练过的模型，于是就可以从中提取嵌入矩阵来用于其他应用了。

如果按照上述训练方法，则not是不是要把整个词表的所有的都要预测一遍？

6.3 理解负采样的过程

回想一下这个神经语言模型计算预测值的三个步骤：

从计算的角度来看，第三步非常昂贵 - 尤其是当我们将需要在数据集中为每个训练样本都做一遍（很容易就多达数千万次）。我们需要寻找一些提高表现的方法。

一种方法是将目标分为两个步骤：

1.生成高质量的词嵌入（不要担心下一个单词预测）。

2.使用这些高质量的嵌入来训练语言模型（进行下一个单词预测）。

在本文中我们将专注于第1步（因为这篇文章专注于嵌入）。要使用高性能模型生成高质量嵌入，我们可以改变一下预测相邻单词这一任务：

将其切换到一个提取输入与输出单词的模型，并输出一个表明它们是否是邻居的分数（0表示“不是邻居”，1表示“邻居”）。

比如有一个训练样本，中心词是$w$，它周围上下文共有 $2c$ 个词，记为 $context(w)$。由于这个中心词 $w$ 的确和 $context(w)$ 相关存在，因此它是一个真实的正例。通过Negative Sampling采样，得到neg个和$w$不同的词$w_i,i=1,2,..neg$， 这样$context(w)$和$w_i$就组成了neg个并不真实存在的负例 作为负例。利用这一个正例和neg个负例，进行二元逻辑回归，得到负采样对应每个词$w_i$对应的模型参数${\theta }_i$，和每个词的词向量。

对于上述问题，那么负采样的样本如何获取？ 从词汇表中随机抽取单词就可以了

训练流程：

• 在训练过程开始之前，预先处理正在训练模型的文本。确定词典的大小(vocab_size，比如说10,000)以及哪些词被它包含在内。
• 在训练阶段的开始，创建两个矩阵——Embedding矩阵和Context矩阵。

• 在训练过程开始时，用 “随机值初始化” 这些矩阵。开始训练过程。在每个训练步骤中，采取一个相邻的例子及其相关的非相邻例子。

• 输入单词not和输出/上下文单词: thou(实际邻居词)，aaron和taco(负面例子)。
  对于输入词，查看Embedding矩阵。对于上下文单词，查看Context矩阵

• 计算输入嵌入与每个上下文嵌入的点积。在每种情况下，结果都将是表示输入和上下文嵌入的相似性的数字。计算误差，使用梯度下降法更新参数。

6.4 负采样中的梯度计算

Negative Sampling也是采用了二元逻辑回归来求解模型参数，通过负采样得到了neg个负例$(context(w),w_i)i=1,2,..neg$为了统一描述将正例定义为 $w_0$。

在逻辑回归中，正例应该期望满足： $P(context(w_0),w_i)=\sigma (x_{w_0}^T{\theta }_{w_i}),y_i=1,i=0$

负例期望满足： $P(context(w_0),w_i)=1-\sigma (x_{w_0}^T{\theta }_{w_i}),y_i=0,i=1,2,..neg$

期望可以最大化：$\prod _{i=0}^{neg}P(context(w_0),w_i)=\sigma (x_{w_0}^T{\theta }_{w_0})\prod _{i=1}^{neg}(1-\sigma (x_{w_0}^T{\theta }_{w_i}))$

似然函数为：$\prod _{i=0}^{neg}\sigma (x_{w_0}^T{\theta }_{w_i}{)}^{y_i}(1-\sigma (x_{w_0}^T{\theta }_{w_i}){)}^{1-y_i}$

对数似然：$L=\sum _{i=0}^{neg}{y}_{i}log(\sigma (x_{w_0}^T{\theta }_{w_i}))+(1-y_i)log(1-\sigma (x_{w_0}^T{\theta }_{w_i}))$

梯度上升法来更新我们的${\theta }_{w_i}$和$x_{wi},i=0,1,..neg$，分别求解梯度：
$$\begin{array}{rl}\frac{\partial L}{\partial {\theta }_{w_i}}& =y_i(1-\sigma (x_{w_0}^T{\theta }_{w_i}))x_{w_0}-(1-y_i)\sigma (x_{w_0}^T{\theta }_{w_i})x_{w_0}\\ & =(y_i-\sigma (x_{w_0}^T{\theta }_{w_i}))x_{w_0}\\ \frac{\partial L}{\partial x_{w_0}}& =\sum _{i=0}^{neg}(y_i-\sigma (x_{w_0}^T{\theta }_{w_i})){\theta }_{w_i}\end{array}$$

6.5 负采样的方法

如果词汇表的大小为$V$,那么将一段长度为1的线段分成$V$份，每份对应词汇表中的一个词。当然每个词对应的线段长度是不一样的，高频词对应的线段长，低频词对应的线段短。每个词$w$的线段长度由下式决定：
$$len(w)=\frac{count(w)}{\sum _{u\in vocab}count(u)}$$
在word2vec中，分子和分母都取了 $3/4$ 次幂如下：
$$len(w)=\frac{count(w{)}^{3/4}}{\sum _{u\in vocab}count(u{)}^{3/4}}$$
在采样前，将这段长度为1的线段划分成$M$等份，这里$M>>V$，这样可以保证每个词对应的线段都会划分成对应的小块。而$M$份中的每一份都会落在某一个词对应的线段上。在采样的时候，我们只需要从$M$个位置中采样出$neg$个位置就行，此时采样到的每一个位置对应到的线段所属的词就是我们的负例词。

在word2vec中，$M$取值默认为$10^8$。

总的来说：非等距切分+等距切分

6.5负采样的技巧点

例如： 选定句子 “The quick brown fox jumps over lazy dog” ，设定窗口大小为2 ($window\_size=2$) 选输入词前后各两个词和输入词进行组合。下图中，蓝色代表input word，方框内代表位于窗口内的单词。

对高频词进行抽样

但是对于“the”这种常用高频单词，这样的处理方式会存在下面两个问题：

• 当我们得到成对的单词训练样本时，(“fox”, “the”) 这样的训练样本并不会给我们提供关于“fox”更多的语义信息，因为“the”在每个单词的上下文中几乎都会出现。
• 由于在文本中“the”这样的常用词出现概率很大，因此我们将会有大量的（”the“，…）这样的训练样本，而这些样本数量远远超过了我们学习“the”这个词向量所需的训练样本数。

Word2Vec通过“抽样”模式来解决这种高频词问题。它的基本思想如下：对于在训练原始文本中遇到的每一个单词，它们都有一定概率从文本中被删掉，而这个被删除的概率与单词的频率有关。

如果设置窗口大小$span=10$，并且从文本中删除所有的“the”，那么会有下面的结果：

1. 由于删除了文本中所有的“the”，那么在训练样本中，“the”这个词永远不会出现在上下文窗口中。
2. 当“the”作为input word时，训练样本数至少会减少10个。

Q：如何选择抽样率呢？

word2vec的C语言代码实现了一个计算在词汇表中保留某个词概率的公式。
$$P(w_i)=(\sqrt{\frac{Z(w_i)}{0.001}}+1)\times \frac{0.001}{Z(w_i)}$$
$P(w_i)$表示某个单词被保留的概率。 $w_i$是一个单词，$Z_{(}{w}_i)$是$w_i$这个单词在所有语料中出现的频次。

举个栗子：如果单词“peanut”在10亿规模大小的语料库中出现了1000次，则有$Z("peanut")=1000/1000000000=1e-6$

在代码中还有一个参数叫“sample”，这个参数代表一个阈值，默认值为0.001 （在gensim包中的Word2Vec类说明中，这个参数默认为0.001，文档中对这个参数的解释为“ threshold for configuring which higher-frequency words are randomly downsampled”）。这个值越小意味着这个单词被保留下来的概率越小(即有越大的概率被我们删除)。

6.6 负采样的思想

负采样每遍历到一个目标词，为了使得目标词的概率 $P(w_t|c_t)$ 最大，根据softmax函数的概率公式，也就是让分子中的 $e\prime (w_t{)}^{T}x$ 最大，而分母中其他非目标词的 $e\prime (w_i{)}^{T}x$ 最小，普通softmax的计算量太大就是因为它把词典中所有其他非目标词都当做负例了，而负采样的思想特别简单，就是每次按照一定概率随机采样一些词当做负例，从而就只需要计算这些负采样出来的负例了，那么概率公式便相应变为:
$$P(w_t|c_t)=\frac{exp(e´(w_t{)}^T)x}{\sum _{i=1}^{K}exp(e´(w_i{)}^T)x},x=\sum _{i\in c}e(w_i)$$
仔细和普通softmax进行比较便会发现，将原来的|V|分类问题变成了K分类问题，这便把词典大小对时间复杂度的影响变成了一个常数项，而改动又非常的微小，不可谓不巧妙。

7.word2vec的好处

不同于one_hot这种暴力映射，无法衡量字词的语义空间距离。Word2vec采用的是低维稠密矩阵去表征字词的语义关系。

• 降低维度，解决稀疏性
• 相似性(衡量词与词之间的距离远近关系)
• 泛化能力更强

对于泛化能力的理解：假设现有四个特征值woman girl man boy，经过onet-hot编码之后得到

[1,0,0,0]–>woman [0,1,0,0]–>girl 每个特征之间是独立的，放进网络里训练彼此之间是没有任何关系的。如果将特征进行embedding操作为2维度:[性别，年龄]==> 女 40(通过性别和年龄能学习出woman)—>woman 可以学习出泛化性。

8.总结

• 统计语言模型就是用来计算一个句子的概率的概率模型(N-gram方式计算)
• 神经语言模=Embedding层+前馈神经网络
• word2vec主要有两种实现方式
  • Skip-gram：输入一个词 $x$，预测它的上下文的词
  • CBOW：通过上下文的词，去预测当前的词
• word2vec本质上学习词与词之间的共现关系
• hierarchical softmax： 本质是把 N 分类问题变成 log(N)次二分类
• negative sampling： 本质是预测总体类别的一个子集
• Word2vec学习的参数是两个矩阵(每一个行是一个词向量)
• embedding矩阵有两个矩阵，可以取第一个或者把二者相加做平均做真正的词向量w

本文仅仅作为个人学习记录所用，不作为商业用途，谢谢理解。

参考：

1.https://zhuanlan.zhihu.com/p/88874759

2.https://www.cnblogs.com/peghoty/p/3857839.html

3.https://www.cnblogs.com/pinard/p/7160330.html