Word2Vec

Word2Vec

Word2Vec 用来计算单词的分布式向量表征。分布式表征的主要优点是相似的单词在向量空间中很接近，在很多自然语言处理应用中都被证明很有用，例如命名实体识别(NDR)、消歧、标注、机器翻译等。

skip-gram Model

skip-gram 的训练目标是学习单词在同一句子中有效预测其上下文的向量表征。从数学上来说，给定一系列训练单词 $w1,w2,\dots ,wT$ ，skip-gram model 的目标是最大化平均 log-likelihood

$$\frac{1}{T}\sum _{t=1}^T\sum _{j=-k}^{j=k}\log p(w_{t+j}|w_t)$$

其中k是训练窗口的大小。

在 skip-gram 模型中，每个单词 $w$ 与两个向量 $u_w$ 和 $v_w$ 相关联，它们分别是 $w$ 的作为单词和上下文的向量表征。给出单词 $w_j$，正确预测单词 $w_i$ 的概率是由 softmax 模型决定，即
$$p(w_i|w_j)=\frac{\exp (u_{w_i}^{\top }{v}_{w_j})}{{\sum }_{l=1}^V\exp (u_l^{\top }{v}_{w_j})}$$
其中 $V$ 是词典大小。

使用 softmax 的 skip-gram 模型开销很大，因为计算 $\log p(w_i|w_j)$ 的成本与 $V$ 成比例， $V$ 很容易就百万级。 为了加速 Word2Vec 的训练，我们使用了 hierarchical softmax，它将 $\log p(w_i|w_j)$ 的计算复杂度降低到 $O（log（V））$。