短评论处理:评分、分词与词频统计、可视化

过程

  • 1 导包、导入数据,取内容列
  • 2 函数:将评论列按行评分输出数据待用
  • 3 函数:将评分符合条件的部分取出、分词,生成词频
  • 4 函数:利用wordcloud生成可视化词云
### 导包
import snownlp
import pandas as pd
import numpy as np

from snownlp import SnowNLP
from wordcloud import WordCloud,STOPWORDS
import matplotlib.pyplot as plt
### 导入数据
df_rate1 = pd.read_excel('C:\\Users\\chai\\Downloads\\评论\\圣元优博58圣元优博2段奶粉400g盒装.xlsx')
df_rate1.head()
df_rate1['评论']
df_rate = df_rate1.iloc[1:10]['评论'].dropna(axis = 0)
print((df_rate))
1                            第一次购买,是正品,比实体店便宜很多?,宝宝喜欢喝
2                                       买了很多次了,挺不错,又划算
3     应该是正品吧,跟我在实体店买的有点不一样,实体店买的罐装没有网上买的那么腥,实在受不了这个腥味,
4    卖家发货快态度好,俩孩子一直喝这家店的奶粉,信任旗舰店,正品能积分,预备年前快递停运,囤货中...
5                             挺好的,宝宝一直喝奶粉。这个官方旗舰店买更放心。
6                                  给个全五分好评,一直在这里买这个奶粉。
7                                             奶粉宝贝吃的挺好
8                                       一直这个牌子,宝贝爱喝,好评
9                               比实体店便宜两块钱!但是味道好像不太一样!!
Name: 评论, dtype: object
### snownlp 处理

def rate_nlp(ratelist):
    global df_out
    df_out = pd.DataFrame(columns = ['content','sentiments'])
    for item in ratelist:
        #print(item)
        s = SnowNLP(item)
        wordlist = s.words
        #print(wordlist)
        data = {'content':item,'sentiments':s.sentiments}
        tmp = pd.DataFrame(data,index=['0'])
        df_out = df_out.append(tmp,ignore_index = True)
        df_out.head()
        #print(dataPositive['sentiments'])
        #print(s.keywords(5))
    #df_out.dropna(axis = 0)
    del tmp
    return df_out
rate_nlp(df_rate1['评论'].dropna(axis = 0))
#筛选所需列。
#df_need = df.iloc[:-1]

def select_key_words(df,sentiif):
    
    df2 = df[df.sentiments > sentiif]
    words_key_list = []
    words_all_list = []
    for item in df2.content:
        s = SnowNLP(item)
        words_key_list = words_key_list+s.keywords(3)
        words_all_list = words_all_list+s.words
    global words_key,words_all
    #所有词:
    words_all = dict()
    for i in words_all_list:
        words_all[i] = words_all_list.count(i)
    #关键词:
    words_key = dict()
    for i in words_key_list:
        words_key[i] = words_key_list.count(i)   
    return words_key,words_all
    
select_key_words(df_out,sentiif = 0.7)
#输入参数:字典,词+词频
def cloud_of_wordsdict(wrods_dict):
    stopwords = set(STOPWORDS)
    f = open('C:\\Users\\chai\\Documents\\哈工大停用词表.txt','r').read()
    stopwords.add(f)
    cloud = WordCloud(
            #设置字体,不指定就会出现乱码
            #设置背景色
            background_color='white',
            #词云形状
            #mask=color_mask,
            #允许最大词汇
            max_words=1000,
            #最大号字体
            max_font_size=40,
            stopwords=stopwords,
            font_path="C:\\Windows\\Fonts\\msyh.ttc",#不加这一句显示口字形乱码
        )

    #text1 = words2.decode(type["encoding"])
    wordsneed = {k: v  for k, v in wrods_dict.items() if v > 5}
    #print(wordsneed)
    plt.figure(figsize = (12, 8))
    word_cloud = cloud.generate_from_frequencies(wordsneed)
    plt.imshow(word_cloud)
    plt.axis("off")
    plt.show()
    
cloud_of_wordsdict(words_all)
短评论处理:评分、分词与词频统计、可视化_第1张图片
词云结果

后续:

    1. 优化停用词,现在有部分未生效;
    1. 更好的图片显示方式,目前有点糙;
    1. 函数优化,目标:输入-到直接输出。

你可能感兴趣的:(短评论处理:评分、分词与词频统计、可视化)