word2vector & paragraph2vector 技术分享

范涛

发表于2017-04-07

前言       

在FastText 那章节，提到了word2vector。这里就专门分享下word2vector的一些技术细节吧。第一次深入调研word2vector是在15年下半年的时候，当时团队leader希望我来负责这块技术在文本挖掘项目的落地。15年那会，我调研的时候，这块技术在国内已经传播很广泛了，各种技术应用和分享都很多，这对我来说是一件非常利好的事情（站在巨人的肩膀上，哈哈）。拿word2vector来说，吸引大家眼球的是他对海量数据的支持以及快速训练。他之前那些基于深度学习的深度语言模型可能效果好，但是速度太慢，对大数据不够scalable，导致在工业界应用很难。但是word2vector解决了这个问题，所以，立马在工业界有了相对广泛的运用。目前在工业界常见的应用有：词云，词典扩充，分类，情感分析，一些dnn模型embedding层初始权重矩阵等。那什么是paragraph2vector ？  paragraph2vector 其实word2vector的一种扩展，是文档的一种向量表示。其实paragraph2vector是一种更为直接的表示，因为实际上大家应用的时候很少直接用词向量，更多是需要对文档进行向量表示而进行的文档级别的应用比如分类，聚类等。但是实际paragraph2vector目前应用上有个问题，还是不够scaleable，基本文档数过百万的时候就容易爆内存。

主题

       下面就分享下之前的调研结果：

       

参考文献

（1） http://blog.csdn.net/itplus/article/details/37969979

（2）http://radimrehurek.com/gensim/models/word2vec.html

（3）                 http://www.52nlp.cn/%e4%b8%ad%e8%8b%b1%e6%96%87%e7%bb%b4%e5%9f%ba%e7%99%be%e7%a7%91%e8%af%ad%e6%96%99%e4%b8%8a%e7%9a%84word2vec%e5%ae%9e%e9%aa%8c

（4） http://techblog.youdao.com/?p=915

（5） http://word2vec.googlecode.com/

（6） Mikolov T, Sutskever I, Chen K, et al. Distributed representations of words and phrases and their compositionality[C]//Advances in neural information processing systems. 2013: 3111-3119.