自然语言处理N天-Day0502词袋和词向量模型

新建 Microsoft PowerPoint 演示文稿 (2).jpg

说明：本文依据《中文自然语言处理入门实战》完成。目前网上有不少转载的课程，我是从GitChat上购买。

第五课 文本可视化技巧

算是进入正题了，NLP重要的一个环节，构建词向量模型，在这里使用到了Gensim库，安装方式很简单
pip install gensim

词向量模型（Word2Vec）

词向量技术是将词语转化成为稠密向量。在自然语言处理应用中，词向量作为机器学习、深度学习模型的特征进行输入。因此，最终模型的效果很大程度上取决于词向量的效果。
正如上一节所说，独热码的问题是：

1. 词语编码是随机的，向量之间相互独立，看不出词语之间可能存在的关联关系。
2. 向量维度的大小取决于语料库中词语的多少，如果语料包含的所有词语对应的向量合为一个矩阵的话，那这个矩阵过于稀疏，并且会造成维度灾难。

而词向量可以将独热码转为低纬度的连续值，就是稠密向量，这样相近的词也就可以进行聚类，表现在二维空间中就是距离接近。

教程在这里实现了word2vec

punctuation = [",", "。", ":", ";", ".", "'", '"', "’", "?", "/", "-", "+", "&", "(", ")"]  # 简易的标点集合
sentences = [
    "长江是中国第一大河，干流全长6397公里（以沱沱河为源），一般称6300公里。流域总面积一百八十余万平方公里，年平均入海水量约九千六百余亿立方米。以干流长度和入海水量论，长江均居世界第三位。",
    "黄河，中国古代也称河，发源于中华人民共和国青海省巴颜喀拉山脉，流经青海、四川、甘肃、宁夏、内蒙古、陕西、山西、河南、山东9个省区，最后于山东省东营垦利县注入渤海。干流河道全长5464千米，仅次于长江，为中国第二长河。黄河还是世界第五长河。",
    "黄河,是中华民族的母亲河。作为中华文明的发祥地,维系炎黄子孙的血脉.是中华民族民族精神与民族情感的象征。",
    "黄河被称为中华文明的母亲河。公元前2000多年华夏族在黄河领域的中原地区形成、繁衍。",
    "在兰州的“黄河第一桥”内蒙古托克托县河口镇以上的黄河河段为黄河上游。",
    "黄河上游根据河道特性的不同，又可分为河源段、峡谷段和冲积平原三部分。 ",
    "黄河,是中华民族的母亲河。"
]

sentences=[jieba.lcut(sen) for sen in sentences]
tokenized=[]
for sentence in sentences:
    words=[]
    for word in sentence:
        if word not in punctuation:
            words.append(word)
    tokenized.append(words)

# Word2Vec参数解释
# sg=1 是 skip-gram 算法，对低频词敏感；默认 sg=0 为 CBOW 算法。
# size 是输出词向量的维数，值太小会导致词映射因为冲突而影响结果，值太大则会耗内存并使算法计算变慢，一般值取为100到200之间。
# window 是句子中当前词与目标词之间的最大距离，3表示在目标词前看3-b 个词，后面看 b 个词（b 在0-3之间随机）。
# min_count 是对词进行过滤，频率小于 min-count 的单词则会被忽视，默认值为5。
# negative 和 sample 可根据训练结果进行微调，sample 表示更高频率的词被随机下采样到所设置的阈值，默认值为 1e-3。
# hs=1 表示层级 softmax 将会被使用，默认 hs=0 且 negative 不为0，则负采样将会被选择使用。
model=Word2Vec(tokenized, sg=1, size=100, window=5,min_count=2, negative=1,sample=0.001,workers=4)
model.save('./tf_logs/gensim/model')

print(model.similarity('黄河','黄河'))

ok，完成训练了，模型又存放好了，这次很小，但是以后如果很大的话怎么办，不能每次都重头来一下吧。
和Tensorflow一样，这些库提供了加载模型的功能
另外对于训练好的向量模型，可以参考这个教程：https://www.jianshu.com/p/e0905124886d

model=Word2Vec.load('./tf_logs/gensim/model')
print(model)
print(model.similarity('黄河','长江'))
print(model.most_similar(positive=['黄河','母亲河'],negative=['长江']))