(实战)用Python实现taobao某品牌杀虫剂评论的情感分析

背景交代:爬虫为适应电子商务飞速发展,通过数据挖掘技术对客户评论进行分析,进而改善服务、提高核心竞争力。爬虫taobao某一品牌杀虫剂下所有评论,区分好评和差评,提取特征词,用以区分新的评论

挖掘目标:分析科林虫控用户的感情倾向;从评论文本中挖掘出产品的优势和不足;提炼出卖点

方法流程:通过对文本进行基础的数据预处理、中文分词、停用词过滤后,使用Python工具对数据进行建模和分析,实现对数据的倾向性判断以及所隐藏的信息的挖掘并分析,以期得到有价值的内在内容

项目管理:带领4为组员,为每位项目组组员分配任务,并规定完成时间,保证项目按时完成。

数据分析:项目【用户评论情感分析】,利用情感分析模型,优化20%费效。项目链接

原理

比如这么一句话:“宝贝真好用,推荐,赞。”

判断情感词

要判断一句话是积极的还是消极的,最简单最基础的方法就是找出句子里面的情感词,积极的情感词比如:赞,好用,推荐等,消极情感词比如:差,烂,坏,没用等。出现一个积极或者消极词就+1。

判断程度词

一般在情感词的前面会出现程度词比如:“真”,“好用”和‘烂“前面都有一个程度修饰词。”超级好“就比”好“或者”还好“的情感更强。所以需要在找到情感词后往前找一下有没有程度修饰,并给不同的程度一个权值。比如”真“,”无比“,”太“就要把情感分值*4,”较“,”还算“就情感分值*2,”只算“,”仅仅“这些就*0.5了。

判断否定词

如果仅仅是出现了“好”就把其规定为正分数相加的话,出现“不”“好”就会被错误判定。所以在找到情感词的时候,需要往前找否定词。比如”不“,”不能“这些词。而且还要数这些否定词出现的次数,如果是单数,情感分值就*-1,但如果是偶数,还是*1。

积极和消极分开来

经过观察大量评论,我们会发现话里面有褒有贬,不能用一个分值来表示它的情感倾向。而且这个权值的设置也会影响最终的情感分值,敏感度太高了。因此对这句话的最终的正确的处理,是得出这句话的一个积极分值,一个消极分值。它们同时代表了这句话的情感倾向。

算法设计

第一步:读取评论数据,对评论进行预处理。

第二步:导入自定义的情感词文档,为程度词赋权重,判断记录积极还是消极,再确定位置。

第三步:更具程度词判断情感词前面的词,若找到就乘对应权重。

第四步:判断程度词的同时也判断是否是否定词,若数量为奇数,乘以-1,若为偶数,乘以1。

第五步:通过比较积极分数和消极分数,判断评论是否为好评。

第六步:得到结果

实战

  1. 数据读取
    import jieba
    import pandas as pd 
    import numpy as np
    import matplotlib.pyplot as plt
    plt.rcParams['axes.unicode_minus']=False
    data = pd.read_excel(r"C:\Users\ZhongH\Desktop\数据分析zm\电商案例数据\竞争数据\评论舆情数据\科林虫控.xlsx")

  2.  数据预处理

    #数据处理
    #提取评论并删除无用评论
    data.describe
    data1 = data[data['评论'] !='此用户没有填写评论!']
    # data1.head()
    comment = data1.评论
    comment

  3. 打开词典
    #打开词典文件
    def read_file(filepath):
        with open(filepath,'r',encoding='utf-8') as fp:
    #         print(fp)
            i=[i.strip() for i in fp.readlines()]
    #         i = [fp.readlines()] '/n'需要去除
    #         print(i)
            return i 
            
    posdict=read_file(r"C:\Users\ZhongH\Desktop\数据分析zm\情感分析用到的词\positive.txt")
    degree_word=read_file(r"C:\Users\ZhongH\Desktop\数据分析zm\情感分析用到的词\程度级别词语.txt")
    deny_word=read_file(r"C:\Users\ZhongH\Desktop\数据分析zm\情感分析用到的词\否定词.txt")
    negdict=read_file(r"C:\Users\ZhongH\Desktop\数据分析zm\情感分析用到的词\negative.txt")
    stop_word=read_file(r"C:\Users\ZhongH\Desktop\数据分析zm\停用词.txt")
    mostdict=degree_word[degree_word.index('extreme')+1:degree_word.index('very')]#权重4
    verydict=degree_word[degree_word.index('very')+1:degree_word.index('more')]#权重3
    moredict=degree_word[degree_word.index('more')+1:degree_word.index('ish')]#权重2
    ishdict=degree_word[degree_word.index('ish')+1:degree_word.index('last')]#权重0.5       

  4.  算法模型

    #算法
    def get_score_list(dataset):
        global good_str
        good_str=''
        bad_str=''
        for co_data in comment:#获取每一段
            posScore=0#积极分
            posScore2=0
            posScore3=0
            negScore=0#消极分
            negScore2=0
            negScore3=0
            a=0#头
            i=0#尾
            #通过jieba库lcut 分词
            for word in jieba.lcut(co_data):
                if word in posdict:#判断情感词
                    posScore +=1
                    c=0#否定词计数
                    #判断情感词前面的程度词
                    for w in jieba.lcut(co_data)[a:i]:
                        if w in mostdict:
                            posScore *=4
                        elif w in verydict:
                            posScore *=3
                        elif w in moredict:
                            posScore *=2
                        elif w in ishdict:
                            posScore *=0.5
                        elif w in deny_word:
                            c +=1
                    if c%2 != 0:
                        posScore*=-1
                        posScore2 +=posScore 
                        posScore = 0 
                        posScore3 = posScore + posScore2 + posScore3
                        posScore2 = 0 
                    else :
                        posScore3 = posScore + posScore2 + posScore3 
                        posScore = 0
                    a=i
                        #积极词记分完成
                if word in negdict:#判断消极情感词
                    negScore +=1
                    c=0#否定词计数
                    #判断情感词前面的程度词
                    for w in jieba.lcut(co_data)[a:i]:
                        if w in mostdict:
                            negScore *=4
                        elif w in verydict:
                            negScore *=3
                        elif w in moredict:
                            negScore *=2
                        elif w in ishdict:
                            negScore *=0.5
                        elif w in deny_word:
                            c +=1
                    if c%2 != 0:
                        negScore*=-1
                        negScore2 +=negScore 
                        negScore = 0 
                        negScore3 = negScore + negScore2 + negScore3
                        negScore2 = 0 
                    else :
                        negScore3 = negScore + negScore2 + negScore3 
                        negScore = 0
                        #所有词记分完成
                    a =i
                i +=1
            print(co_data,posScore3,negScore3)
            if posScore3 > negScore3:
                good_str +=co_data
            elif negScore3 > posScore3 :
                bad_str +=co_data
    #     print(good_str)
        return good_str
    get_score_list(comment)
    print(good_str)
    '''
    几年前用过这个牌子的,当时特别好用,这次发现小强立刻搜索,抱着试试看的心买的,还是有效果的,看到几个死的,大小都有,但是数量不多,不知道都杀没了吗,反正最近没有发现活动的不法分子,已经推荐给朋友 21 0
    效果很好,出差前选了几个角落滴了一滴,回来地上确实看到了小强的尸体,还剩好多呢,以后也可以用好几次,有小强就选这个了,又便宜,关键有效。 14 0
    终于收到我需要的宝贝了,东西很好,价美物廉,谢谢掌柜的!说实在,这是我淘宝购物来让我最满意的一次购物。无论是掌柜的态度还是对物品,我都非常满意的。掌柜态度很专业热情,有问必答,回复也很快,我问了不少问题,他都不觉得烦,都会认真回答我,这点我向掌柜表示由衷的敬意,这样的好掌柜可不多。再说宝贝,正是我需要的,收到的时候包装完整,打开后让我惊喜的是,宝贝比我想象中的还要好!不得不得竖起大拇指。下次需要的时候我还会再来的,到时候麻烦掌柜给个优惠哦! 50 -2
    宝贝收到了,运送速度真是快,下单没多久就送来了,包装挺好的,小小的使用好方便,厨房有很多蟑螂,桌上总看到一两只冒出来,一买回来就迫不及待地打开来用了,用了几天还是有小蟑螂在桌上爬,等再过几天看看效果. 11.5 1
    ...
    '''

  5. 好评转化词云图

    #词云图
    import jieba
    import wordcloud
    from wordcloud import WordCloud
    plt.rcParams['font.sans-serif']='SimHei'
    w=wordcloud.WordCloud(font_path='C:\Windows\Fonts\方正兰亭黑简体.TTF',collocations=False
                         ,max_words=50,
                         background_color='white')
    jieba.lcut(good_str)
    exclude=('蟑螂','小强')
    list=[w for w in jieba.lcut(good_str) if w not in stop_word and w not in exclude]
    w.generate(' '.join(list))
    plt.imshow(w)
    plt.axis('off')

    (实战)用Python实现taobao某品牌杀虫剂评论的情感分析_第1张图片

你可能感兴趣的:(Python,python,数据分析,数据挖掘)