我用Python爬取了B站3948评论，围观最近超火的“杀疯了！这就是国家队的美貌吗？”评论区
技术上碾压对手
颜值上惊艳对手
中国奥运健儿们真是又美又能打！
带你一看
中国运动员颜值有多高
需求分析
网友们都在微博上说了啥？
看这里
▼
之气那我们也有分析过B站的弹幕，有兴趣的小伙伴可以看看这里
爬虫B站弹幕| 考完试，这辈子，这个班，基本是聚不齐了......
首先我们打开B站找到我们要找的视频。
F12打开浏览器开发者模式，找到如下链接。
经过测试发现，目前它是通过Js经行渲染的，想通了这一点，那就可以马上去找接口了。
可以看到我们所有爬取的评论信息全在在一个不规则的json文件当中
https://api.bilibili.com/x/v2/reply/main?callback=jQuery172011288135593018156_1627894496820&jsonp=jsonp&next=2&type=1&oid=674425220&mode=3&plat=1&_=1627894506606
https://api.bilibili.com/x/v2/reply/main?callback=jQuery172011288135593018156_1627894496821&jsonp=jsonp&next=3&type=1&oid=674425220&mode=3&plat=1&_=1627894508981
https://api.bilibili.com/x/v2/reply/main?callback=jQuery172011288135593018156_1627894496822&jsonp=jsonp&next=4&type=1&oid=674425220&mode=3&plat=1&_=1627894510667
https://api.bilibili.com/x/v2/reply/main?callback=jQuery172011288135593018156_1627894496823&jsonp=jsonp&next=5&type=1&oid=674425220&mode=3&plat=1&_=1627894567580
从上面的URL地址以及图片，可以看出一共有8个查询参数。
callback：每加载出一次便加1操作。
next：每加载一次便加1操作，next是从0开始加载的。
_：13位的时间戳。
发送请求
我们首先模拟浏览器来发送请求获取到这个json数据集，然后获取具体的
评论者、行呗、评论时间、点赞人数和具体的评论内容
url = f'https://api.bilibili.com/x/v2/reply/main?callback=jQuery172009047692616139114_{1627891325400 + page}&jsonp=jsonp&next={page}&type=1&oid=674425220&mode=3&plat=1&_={time_thick}'
headers = {
"cookie": "_uuid=BA408FD2-1B4E-DCB0-1CBE-71233AE9FB2918358infoc; buvid3=BA184AFC-F4DC-408A-8897-D0EDEA653CE5148812infoc; sid=ld1hsb9h; fingerprint=84acc3579a53d0eba78d769e71574df6; buvid_fp=BA184AFC-F4DC-408A-8897-D0EDEA653CE5148812infoc; buvid_fp_plain=BA184AFC-F4DC-408A-8897-D0EDEA653CE5148812infoc; DedeUserID=434541726; DedeUserID__ckMd5=448fda6ab5098e5e; SESSDATA=40011147%2C1643348516%2Ce493c*81; bili_jct=1d136ab44a600313299942bf8f6b8f95; CURRENT_FNVAL=80; blackside_state=1; rpdid=|(u)YJR~R~)m0J'uYk~~mY~Y); bsource=search_baidu; PVID=1; bfe_id=393becc67cde8e85697ff111d724b3c8",
'referer': 'https://www.bilibili.com/video/BV1uU4y1H7wL',
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/93.0.4577.8 Safari/537.36'
}
resp = requests.get(url, headers=headers)
ic(resp.text)前面说到我们获取的这个json格式的数据集不是一个标准的json
就是因为前面多了一串
‘jQuery172009047692616139114_1627891325400’
所以我们先将获取到的数据集转为标准的json格式。
如下：
# 获取resp响应
text = resp.text[42:-1]
# 转换json格式
json_data = json.loads(text)
# 获取所有评论
datas = json_data['data']['replies']
ic(datas)
接下来我们要获取的就是那些评论信息等
for item in datas:
# 评论者
name = item['member']['uname']
# 性别
sex = item['member']['sex']
# 评论时间
ctime = item.get('ctime')
content_time = time.strftime('%Y-%m-%d %H:%M', time.localtime(ctime))
# 点赞人数
star = item['like']
# 评论内容
cmts = item['content']['message']
ic(name, sex, content_time, star, cmts)
实现翻页爬取
在前面所描述的内容，都只是爬取一页的数据，因此，接下来我要实现类于翻页爬取的效果。
其实只要修改我上面所描述的3个查询参数即可。
测试数据我们就先取200页。
for page in range(1, 200 + 1):
time_thick = int(time.time() * 1000)
url = f'https://api.bilibili.com/x/v2/reply/main?callback=jQuery172009047692616139114_{1627891325400 + page}&jsonp=jsonp&next={page}&type=1&oid=674425220&mode=3&plat=1&_={time_thick}'保存数据
最后将爬取下来的数据，使用openpyxl保存至Excel文件中，总共得到4000条测试数据。
数据处理
这里我们使用熊猫来读取数据,并去除空行
使用jieba制作分词
rcv_data = pd.read_excel('哔哩哔哩.xlsx')
exist_col = rcv_data.dropna() # 删除空行
c_title = exist_col['评论内容'].tolist()
# 观影评论词云图
wordlist = jieba.cut(''.join(c_title))
result = ' '.join(wordlist)可视化
最后我们使用stylecloud来生成多样形式的词云
gen_stylecloud(text=result,
icon_name='fas fa-table-tennis',
font_path='msyh.ttc',
background_color='white',
output_name=pic,
custom_stopwords=['啊', '的', '也', '了', '我', '是', '吗', '都', '就', '你', '不', '真的', '有', '这', '没有', '他们', '还有', '说', '封面']
)
print('绘图成功！')
