python爬取豆瓣数据评论数据并通过词云显示

今天做一个爬虫小实验，爬取豆瓣网上书评数据。正好最近一直想看东野圭吾的《解忧杂货店》，那就从它下手吧。

这个项目分为两部分：

（1）爬取数据

（2）制作词云

项目过程：

首先，导入我们需要用的的python库

from splinter.browser import Browser
from bs4 import BeautifulSoup
import pandas as pd
import time
from PIL import Image  
import time  
import snownlp  
import jieba  
import jieba.analyse  
import numpy as np
from wordcloud import WordCloud,STOPWORDS,ImageColorGenerator

（1）爬取数据：采用的是splinter框架以及beautifulSoup解析库。在这里为了节省时间，我只爬取了400条数据。

代码如下：

b = Browser()
url0 = "https://book.douban.com/subject/bookid/comments/hot?p="#bookid换成你自己想要爬取的书籍的评论数据
list_1 = []
list_2 = []
for i in range(1,20):
    url = "https://book.douban.com/subject/25862578/comments/hot?p="+str(i)
    b.visit(url)
    soup = BeautifulSoup(b.driver.page_source, "html.parser")
    comments = soup.find_all("p","comment-content")
    for item in comments:
        comment = item.string#评论内容
        list_1.append(comment)
    pattern = re.compile('span class="user-stars allstar(.*?) rating"')
    p = re.findall(pattern,b.driver.page_source)
    list_2 += list(map(int,p))
    time.sleep(4)

print("平均分:",sum(list_2)//len(list_2))
pd1 = pd.DataFrame(list_1)
pd1.to_csv("comments.csv",index = False)  
pd2 = pd.DataFrame(list_2)
pd2.to_csv("result.csv",index=False)

(2)构造词云

挑选了《解忧杂货店》书籍封面做了词云底图。

代码如下：

comments = ""
for item in list_1:
    item = item.strip(" ")
    nlp = snownlp.SnowNLP(item)
    comments += " ".join(jieba.analyse.extract_tags(item,6))#关键字提取
back_coloring = np.array(Image.open("jyzhd.jpg"))
word_cloud = WordCloud(font_path='simkai.ttf',background_color='white',max_words=2000,mask=back_coloring,margin=10)
word_cloud.generate(comments)
#从背景图片生成颜色值
image_colors = ImageColorGenerator(back_coloring)
plt.figure(figsize=(8,5),dpi=160)  
plt.imshow(word_cloud.recolor(color_func=image_colors))  
plt.axis("off")  
plt.show()  
word_cloud.to_file("comments.jpg")  

结果如下：

感觉是不是应该把东野这个词屏蔽掉？

修改一下代码：

word_cloud = WordCloud(font_path='simkai.ttf',background_color='white',max_words=2000,stopwords = STOPWORDS.add('东野'),mask=back_coloring,margin=10)

重新跑出来的结果如下：

这次效果好多了。