Gensim库之Doc2Vec模型详解

Gensim库之Doc2Vec模型详解

models.doc2vec – Doc2vec paragraph embeddings： TaggedDocument: 对于输入的文档 text,转换为:TaggedDocument(text, [i])的形式，i为文档编号 class gensim.models.doc2vec.Doc2Vec( documents=None, 输入语料库，是TaggedDocument列表 corpus_file=None, Path to a corpus file in LineSentence format. dm_mean=None, 取0，则使用上下文词向量的和。取1，使用平均值。 仅当dm在非串联模式下使用时适用(dm_concat=0)。 dm=1, 选择训练算法，dm = 1 使用PV-DM;dm = 0,使用PV-DBOW dbow_words=0, 取1，则与dbow-doc向量训练同时训练单词向量(以Skip-gram的方式)； 取0，则仅训练文档向量(更快)。 dm_concat=0, 取1时，则使用上下文向量的串联，取0时求和/平均值； negative = 0, >0,使用负抽样(噪声词在5~20之间);=0,不适用噪声词; epochs (int, optional),迭代次数; hs ({1,0}, optional), 取 1, 使用hierarchical softmax . 取 0, 且negative 非0, 使用负抽样 . dm_tag_count=1, docvecs=None, docvecs_mapfile=None, comment=None, trim_rule=None, callbacks=(), **kwargs)

使用Doc2Vec()方法训练得到的model中包含以下对象：
(1)wv(Word2VecKeyedVectors):
word2vec对象存储单词和向量之间的映射。用于对向量进行查找、距离、相似性计算等操作。
方法：
① closer_than(entity1, entity2)
Get all entities that are closer to entity1 than entity2 is to entity1.
② cosine_similarities(vector_1, vectors_all)
Compute cosine similarities between one vector and a set of other vectors.
③ distance(w1, w2)
Compute cosine distance between two words.
④ distances(word_or_vector, other_words=())
Compute cosine distances from given word or vector to all words in other_words.
If other_words is empty, return distance between word_or_vectors and all words
in vocab.
⑤ get_vector(word)
Get the entity’s representations in vector space, as a 1D numpy array.
⑥ most_similar_cosmul(positive=None, negative=None, topn=10)
Find the top-N most similar words, using the multiplicative combination objective.
⑦ most_similar_to_given(entity1, entities_list)
Get the entity from entities_list most similar to entity1.
⑧ n_similarity(ws1, ws2)
Compute cosine similarity between two sets of words.
⑨ relative_cosine_similarity(wa, wb, topn=10)
Compute the relative cosine similarity between two words given top-n similar words;
⑩ save(path) Save KeyedVectors. load(path)Load KeyedVectors.
⑪ wmdistance(document1, document2)
Compute the Word Mover’s Distance(词移距离) between two documents.
⑫ word_vec(word, use_norm=False)
Get word representations in vector space, as a 1D numpy array.
(2)docvecs(Doc2VecKeyedVectors):
此对象包含段落向量。记住，这个模型和word2vec之间的唯一区别是，除了词向量之外，我们还包括段落嵌入
来捕获段落。
该对象中的方法基本与WV中的方法相同；
(3)vocabulary(Doc2VecVocab):
这个对象表示模型的词汇表(字典)。除了跟踪所有独特的单词之外，这个对象还提供了额外的功能，比如按频率
对单词排序，或者丢弃非常罕见的单词。

Doc2Vec的方法：
①most_similar(**kwargs) Deprecated, use self.wv.most_similar() instead.
②most_similar_cosmul(**kwargs) Deprecated, use self.wv.most_similar_cosmul() instead.
③n_similarity(**kwargs) Deprecated, use self.wv.n_similarity() instead.