word2vec 相关论文

原论文:

• Mikolov等人在2013年的文献[1]中,同时提出了CBOW(Continuous Bagof-Words)和Skip-gram模型.他们设计两个模型的主要目的是希望用更高效的方法获取词向量。因此，他们根据前人在 NNLM、 RNNLM 和 C&W 模型上的经验，简化现有模型，保留核心部分，得到了这两个模型。
• Mikolov在2013年接着在[2]中提出了训练Skip-gram模型的两个策略：Hierarchical Softmax和Negative Sampling.
• Mikolov在2014年提出doc2vec[3]
• Mikolov写的原论文不好懂，后来有人对原论文进行了详细的推导[4,5]。

参考文献

[1] Tomas Mikolov, Kai Chen, Greg Corrado, and Jeffrey Dean. Efficient estimation of word representations in vector space. ICLR Workshop, 2013

[2] T. Mikolov, I. Sutskever, K. Chen, G. Corrado, and J. Dean. Distributed Representations of Words and Phrases and their Compositionality. NIPS 2013

[3] Le Q, Mikolov T. Distributed representations of sentences and documents[C]//International Conference on Machine Learning. 2014: 1188-1196.

[4] Goldberg Y, Levy O. word2vec Explained: deriving Mikolov et al.'s negative-sampling word-embedding method[J]. arXiv preprint arXiv:1402.3722, 2014.

[5] Rong X. word2vec parameter learning explained[J]. arXiv preprint arXiv:1411.2738, 2014.