doc2vec原理

doc2vec和word2vec类似，Doc2vec也有两种训练方式，分别是Distributed Memory(DM) 和 Distributed Bag of Words(DBOW)。

DM 试图在给定上下文和段落向量的情况下预测单词的概率，与word2vec中CBOW类似，在一个句子或者文档的训练过程中，段落 ID 保持不变，共享着同一个段落向量；

DBOW 则在仅给定段落向量的情况下预测段落中一组随机单词的概率，与word2vec中skip-gram类似。

1.DM模型

训练过程中新增了paragraph id，即训练语料中每个句子都有一个唯一的id。paragraph id和普通的word一样，也是先映射成一个向量，即paragraph vector。paragraph vector与word vector的维数虽一样，但是来自于两个不同的向量空间。在之后的计算里，paragraph vector和word vector累加或者连接起来，作为输出层softmax的输入。在一个句子或者文档的若干次训练过程中，paragraph id保持不变，共享着同一个paragraph vector，相当于每次在预测单词的概率时，都利用了整个句子的语义。
训练完了以后，就会得到训练样本中所有的词向量和每句话对应的句子向量。

那么Doc2vec是怎么预测新的句子Paragraph vector呢？其实在预测新的句子的时候，还是会将该Paragraph vector随机初始化，放入模型中再重新根据随机梯度下降不断迭代求得最终稳定下来的句子向量。不过在预测过程中，模型里的词向量还有投影层到输出层的softmax weights参数是不会变的，这样在不断迭代中只会更新Paragraph vector，其他参数均已固定，只需很少的时间就能计算出带预测的Paragraph vector。

2. DBOW模型