NLP---- python实践案例（word2vec求语义相似度，LDA，词性标注）

NLP应用的第一步是自动分词，然后在分词之后构建词向量，然后再对词向量进行训练，最后输出任务结果。

案例：中文处理预料库《倚天屠龙记》，为例子。引用博文：

https://blog.csdn.net/sinat_29694963/article/details/79177832

https://zhuanlan.zhihu.com/p/23225934

word2vec是构建多层的神经网络模型，然后给定输入和输出求出相应的相似度。word2vec基础算法是N-gram，所以n元模型中如果在不改变词语在上下文中的顺序前提下，距离相近的词语关系越近。距离较远的关联度越远，当距离足够远时，词语之间则没有关联度。

在做NLP训练模型时，时需要训练集和测试集的。

常用的NLP的python模块有gensim ,NLTK等

1、训练前语料处理

 第一步   分词：分词工具有中科院分词,哈工大的LTP分词, j ieba分词，分词效果中科院的分词效果不错，我们分别使用jieba直接进行分词和使用自定义词典作为词库来分词，来保证分词的准确度。还有相应的盘古分词、Yaha分词，但是效果是差不多的。停用词的概念：

        这些功能词的两个特征促使在搜索引擎的文本处理过程中对其特殊对待。第一，这些功能词极其普遍。记录这些词在每一个文档中的数量需要很大的磁盘空间。第二，由于它们的普遍性和功能，这些词很少单独表达文档相关程度的信息。如果在检索过程中考虑每一个词而不是短语，这些功能词基本没有什么帮助。在信息检索中，这些功能词的另一个名称是:停用词(stopword)。称它们为停用词是因为在文本处理过程中如果遇到它们，则立即停止处理，将其扔掉。将这些词扔掉减少了索引量，增加了检索效率，并且通常都会提高检索的效果。停用词主要包括英文字符、数字、数学字符、标点符号及使用频率特高的单汉字等。python中有stop-words这个包，可以安装使用。

第二步 模型训练：

 使用word2vec每次的结果不一样，原因是模型不用重新训练。第一次实例没有使用自定义的词典。

2、 LDA主题模型的构建实例：

       LDA（Latent Dirichlet Allocation）是一种文档主题生成模型，也称为一个三层贝叶斯概率模型，包含词、主题和文档三层结构。所谓生成模型，就是说，我们认为一篇文章的每个词都是通过“以一定概率选择了某个主题，并从这个主题中以一定概率选择某个词语”这样一个过程得到。文档到主题服从多项式分布，主题到词服从多项式分布。

        LDA是一种非监督机器学习技术，可以用来识别大规模文档集（document collection）或语料库（corpus）中潜藏的主题信息。它采用了词袋（bag of words）的方法，这种方法将每一篇文档视为一个词频向量，从而将文本信息转化为了易于建模的数字信息。但是词袋方法没有考虑词与词之间的顺序，这简化了问题的复杂性，同时也为模型的改进提供了契机。每一篇文档代表了一些主题所构成的一个概率分布，而每一个主题又代表了很多单词所构成的一个概率分布。

 [dic.doc2bow(text) for text in cut_file]就是要生成相应的字典，抽取文档中的单词组成一个字典。
gensim.models.ldamodel.LdaModel(corpus = corpus_tfidf, id2word = dictionary, num_topics = 50, update_every=1, chunksize=100,passes=1)

        对于model的那个构造函数的解释：alpha是一个重要的参数，较大的alpha值会导致每个文档中包含更多的主题，alpha必须是正数，通常很小，一般小于1,默认是1.0/len(corpus)。这时topics就是目前分出来的主题，主题模型是一个稀疏的模型，即便每个文档中有很多潜在主题，也只有一小部分会被用到。

 3、情感分析

      Python 有良好的程序包可以进行情感分类，那就是Python 自然语言处理包，Natural Language Toolkit ，简称NLTK。情感分类可以用词典、机器学习的方法，但是机器学习更加准确。

使用机器学习进行情感分析，可以换一个相同意思的说法，就是用有监督的（需要人工标注类别）机器学习方法来对文本进行分类。这点与词典匹配有着本质的区别。词典匹配是直接计算文本中的情感词，得出它们的情感倾向分值。而机器学习方法的思路是先选出一部分表达积极情感的文本和一部分表达消极情感的文本，用机器学习方法进行训练，获得一个情感分类器。再通过这个情感分类器对所有文本进行积极和消极的二分分类。最终的分类可以为文本给出0或1这样的类别，也可以给出一个概率值，比如”这个文本的积极概率是90%，消极概率是10%“。

        情感分析语料库下载见我博客：https://blog.csdn.net/xiaojiewang1990/article/details/83821116   ，里面datatang的需要花钱，但是其他的可以下载，是xml格式的。

字典的方法原理如下
比如这么一句话：“这手机的画面极好，操作也比较流畅。不过拍照真的太烂了！系统也不好。”
① 情感词
要分析一句话是积极的还是消极的，最简单最基础的方法就是找出句子里面的情感词，积极的情感词比如：赞，好，顺手，华丽等，消极情感词比如：差，烂，坏，坑爹等。出现一个积极词就+1，出现一个消极词就-1。
里面就有“好”，“流畅”两个积极情感词，“烂”一个消极情感词。那它的情感分值就是1+1-1+1=2. 很明显这个分值是不合理的，下面一步步修改它。
② 程度词
“好”，“流畅”和‘烂“前面都有一个程度修饰词。”极好“就比”较好“或者”好“的情感更强，”太烂“也比”有点烂“情感强得多。所以需要在找到情感词后往前找一下有没有程度修饰，并给不同的程度一个权值。比如”极“，”无比“，”太“就要把情感分值*4，”较“，”还算“就情感分值*2，”只算“，”仅仅“这些就*0.5了。那么这句话的情感分值就是：4*1+1*2-1*4+1=3
③ 感叹号
可以发现太烂了后面有感叹号，叹号意味着情感强烈。因此发现叹号可以为情感值+2. 那么这句话的情感分值就变成了：4*1+1*2-1*4-2+1 = 1
④ 否定词
明眼人一眼就看出最后面那个”好“并不是表示”好“，因为前面还有一个”不“字。所以在找到情感词的时候，需要往前找否定词。比如”不“，”不能“这些词。而且还要数这些否定词出现的次数，如果是单数，情感分值就*-1，但如果是偶数，那情感就没有反转，还是*1。在这句话里面，可以看出”好“前面只有一个”不“，所以”好“的情感值应该反转，*-1。
因此这句话的准确情感分值是：4*1+1*2-1*4-2+1*-1 = -1
⑤ 积极和消极分开来
再接下来，很明显就可以看出，这句话里面有褒有贬，不能用一个分值来表示它的情感倾向。而且这个权值的设置也会影响最终的情感分值，敏感度太高了。因此对这句话的最终的正确的处理，是得出这句话的一个积极分值，一个消极分值（这样消极分值也是正数，无需使用负数了）。它们同时代表了这句话的情感倾向。所以这句评论应该是”积极分值：6，消极分值：7“
⑥ 以分句的情感为基础
22。
算法设计
第一步：读取评论数据，对评论进行分句。
第二步：查找对分句的情感词，记录积极还是消极，以及位置。
第三步：往情感词前查找程度词，找到就停止搜寻。为程度词设权值，乘以情感值。
第四步：往情感词前查找否定词，找完全部否定词，若数量为奇数，乘以-1，若为偶数，乘以1。
第五步：判断分句结尾是否有感叹号，有叹号则往前寻找情感词，有则相应的情感值+2。
第六步：计算完一条评论所有分句的情感值，用数组（list）记录起来。
第七步：计算并记录所有评论的情感值。
第八步：通过分句计算每条评论的积极情感均值，消极情感均值，积极情感方差，消极情感方差。