word2vec数学推导过程

Welcome To My Blog
word2vec包含两种框架，一种是CBOW(Continuous Bag-of-Words Model)，另一种是Skip-gram(Continuous Skip-gram Model)，如下图所示。这两种模型的任务是：进行词的预测，CBOW是预测P(w|context(w))，Skip-gram是预测P(context(w)|w)。当整个词典中所有词的预测任务整体达到最优时，此时的词向量便是我们想要的结果。

1.png

word2vec有两种计算方式专门提升训练速度，分别是：Hierarchical Softmax 和 Negative Sampling。
本篇文章只写出有关模型的数学推导过程，其它细节可参考peghoty的word2vec 中的数学,我也是根据这篇文章学习的

Hierarchical Softmax with Continuous Bag-of-Words Model

2.jpg

Hierarchical Softmax with Continuous Skip-gram Model

3.jpg

Negative Sampling with Continuous Bag-of-Words Model

4.jpg

Negative Sampling with Continuous Skip-gram Model

5.jpg

参考
Tomas Mikolov, Efficient Estimation of Word Representations in Vector Space
peghoty, word2vec 中的数学