利用Word2vec简单的计算文本相似度

    word2vec是google在13年推出的NLP工具，特点是将词向量化，词与词之间就可以定量的去度量之间的关系，用来挖掘词之间的联系。

    不过词向量的方法并不是word2vec的首创，在word2vec出现之前，已经有用神经网络DNN来用训练词向量进而处理词与词之间的关系了。

    这个模型一般分为CBOW(Continuous Bag-of-Words 与Skip-Gram两种模型，简单说起来，就是：CBOW的输入是多个词向量，输出是所有词的softmax概率，可以通过一次DNN前向传播算法并通过softmax激活函数找到概率最大的词对应的神经元。

    Skip-Gram模型和CBOW的思路是反着来的，即输入是特定的一个词的词向量，而输出是特定词对应的上下文词向量。

    word2vec也使用了CBOW与Skip-Gram来训练模型与得到词向量，但是并没有使用传统的DNN模型。

    最先优化使用的数据结构是用霍夫曼树来代替隐藏层和输出层的神经元，霍夫曼树的叶子节点起到输出层神经元的作用，叶子节点的个数即为词汇表的小大。 而内部节点则起到隐藏层神经元的作用。

    word2vec这里推荐使用python的gensim包，但是gensim包目前仅支持skip-gram模型，安装gensim之前还需要安装【numpy】和【scipy】，因为【gensim】依赖这两个库，因此还是推荐安装python的时候，直接下载Anaconda，它也是python的一个科学计算库，它包含了python常用的科学计算库。

Skip-Gram

    安装gensim包之后，网上教程大多是传入一个txt文件，而这个txt文件是什么内容，什么数据格式，一般都没有说明，也没有提供可下载的文件用于例证。

    一般而言，这个传入的文件是一个已分好词的文本文件，完整的语义文件最好，但在本文中，我使用了商品名称作为输入，影响也不是很大，这里的商品名称是使用jieba默认的分词

#-*- codig:utf-8 -*-

import pandas as pd

from gensim.models import Word2Vec

from gensim.models.word2vec import LineSentence

df = pd.read('~/NLP/new1016.csv').astype(str)

sentences = df['doc']

line_sent = []

#这里使用的csv格式的，其他格式也影响不大，将商品名抽出组成列表。

for s in sentences:

        line_sent.append(s.split()) #组成list

#保存模型

model.save('./new1016.model')

这样就完成了一个很简单的训练。

可以直接查看词。

也可以通过most_similar来找到与检索词最近似的词，稍作修饰，得到下面的