Python帮你分析《孤注一掷》豆瓣评论数据，告诉你到底值不值得去看！

前言

环境使用

• Python 3.8 解释器
• Pycharm 编辑器

所需模块

import parsel >>> pip install parsel
import requests >>> pip install requests
import csv

一. 数据来源分析:
1.明确需求：

采集的网站是什么?

https://movie.douban.com/subject/35267208/comments?limit=20&status=P&sort=new_score

• 采集的数据是什么?
  评论相关数据

  2.抓包分析相关数据来源
  通过浏览器自带开发者工具进行抓包分析 <重点>

• 打开开发者工具: F12 或者 鼠标右键点击检查选择network

• 刷新网页: 让本网页的数据内容重新加载一遍

• 关键字搜索: 通过关键字<要的数据>, 搜索查询相对应的数据包

https://movie.douban.com/subject/35267208/comments?limit=20&status=P&sort=new_score

二. 代码实现步骤: 基本四大步骤 --> 发送请求,获取数据,解析数据,保存数据

1. 发送请求, 模拟浏览器对于url地址发送请求

https://movie.douban.com/subject/35267208/comments?limit=20&status=P&sort=new_score

2. 获取数据, 获取服务器返回响应数据
   开发者工具 --> response

3. 解析数据, 提取我们想要的数据内容
   评论相关数据

4. 保存数据, 把数据内容保存表格文件里面

评论数据获取

发送请求, 模拟浏览器对于url地址发送请求

返回表示请求成功

# 请求链接
url = f'https://movie.douban.com/subject/35267224/comments?start=20&limit=20&status=P&sort=new_score'
# 伪装模拟
headers = {
    # User-Agent 用户代理, 表示浏览器基本身份标识
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.0.0 Safari/537.36'
}
# 发送请求
response = requests.get(url=url, headers=headers)
print(response)

解析数据

解析方法:

• 正则re --> 直接对于字符串数据进行解析
• css选择器 --> 根据标签属性提取数据
• xpath节点提取 --> 根据标签节点提取数据

把获取下来html字符串数据 , 转成可解析对象

提取具体数据内容
.comment-info a --> 定位class类名为comment-info下面a标签 a::text -->提取a标签里面文本
get() --> 获取第一个标签内容
attr() --> 提取属性

selector = parsel.Selector(response.text) 
# 第一次提取, 所有div标签
divs = selector.css('div.comment-item')
# for循环遍历, 把列表里面元素一个一个提取出来
for div in divs:
    name = div.css('.comment-info a::text').get()  # 昵称
    rating = div.css('.rating::attr(title)').get()  # 推荐
    date = div.css('.comment-time::attr(title)').get()  # 时间
    area = div.css('.comment-location::text').get()  # 地区
    votes = div.css('.votes::text').get()  # 有用
    short = div.css('.short::text').get().replace('\n', '')  # 评论
    # 数据存字典里面
    dit = {
        '昵称': name,
        '推荐': rating,
        '时间': date,
        '地区': area,
        '有用': votes,
        '评论': short,
    }
    # 写入数据
    print(name, rating, date, area, votes, short)

保存数据

data.csv --> 文件名
mode=a --> 保存方式 追加保存
encoding=‘utf-8’ --> 编码格式
newline --> 换行符
f --> 文件对象

f = open('data10.csv', mode='a', encoding='utf-8-sig', newline='')
csv_writer = csv.DictWriter(f, fieldnames=[
    '昵称',
    '推荐',
    '时间',
    '地区',
    '有用',
    '评论',
])
# 写入表头
csv_writer.writeheader()

分析评论数据

导入模块

import pandas as pd
import jieba
import wordcloud

读取数据

df = pd.read_csv('data10.csv')
df.head()

推荐分布

import pyecharts.options as opts
from pyecharts.charts import Pie

data_pair = [list(z) for z in zip(evaluate_type, evaluate_num)]
data_pair.sort(key=lambda x: x[1])

c = (
    Pie(init_opts=opts.InitOpts(bg_color="#2c343c"))
    .add(
        series_name="豆瓣影评",
        data_pair=data_pair,
        rosetype="radius",
        radius="55%",
        center=["50%", "50%"],
        label_opts=opts.LabelOpts(is_show=False, position="center"),
    )
    .set_global_opts(
        title_opts=opts.TitleOpts(
            title="推荐分布",
            pos_left="center",
            pos_top="20",
            title_textstyle_opts=opts.TextStyleOpts(color="#fff"),
        ),
        legend_opts=opts.LegendOpts(is_show=False),
    )
    .set_series_opts(
        tooltip_opts=opts.TooltipOpts(
            trigger="item", formatter="{a} 
{b}: {c} ({d}%)"
        ),
        label_opts=opts.LabelOpts(color="rgba(255, 255, 255, 0.3)"),
    )
)
c.render_notebook()

地区分布

import pyecharts.options as opts
from pyecharts.charts import Pie

data_pair = [list(z) for z in zip(area_type, area_num)]
data_pair.sort(key=lambda x: x[1])

d = (
    Pie(init_opts=opts.InitOpts(bg_color="#2c343c"))
    .add(
        series_name="豆瓣影评",
        data_pair=data_pair,
        rosetype="radius",
        radius="55%",
        center=["50%", "50%"],
        label_opts=opts.LabelOpts(is_show=False, position="center"),
    )
    .set_global_opts(
        title_opts=opts.TitleOpts(
            title="地区分布",
            pos_left="center",
            pos_top="20",
            title_textstyle_opts=opts.TextStyleOpts(color="#fff"),
        ),
        legend_opts=opts.LegendOpts(is_show=False),
    )
    .set_series_opts(
        tooltip_opts=opts.TooltipOpts(
            trigger="item", formatter="{a} 
{b}: {c} ({d}%)"
        ),
        label_opts=opts.LabelOpts(color="rgba(255, 255, 255, 0.3)"),
    )
)
d.render_notebook()

【2023|VIP付费系统教学】冒死上传！80集付费课程