python爬取qq音乐评论_爬虫：QQ音乐评论
QQ音乐评论
有些小伙伴反馈，对于爬虫的完整流程，还是不清楚，这边就按顺序，给大家梳理一下
反爬
首先查看一下，我们要爬取的网页，是否反爬(各种侵害人家服务器的事情，我们不能干)
QQ音乐网址：https://y.qq.com
要查看该网页的反爬要求，可以直接在网页后加/robots.txt
QQ音乐反爬要求就是：https://y.qq.com/robots.txt
看了一下官网不给爬的内容，没有说不可以爬评论，那我们就爬了~
今天我们爬虫，以QQ音乐，杨千嬅的《野孩子》为例，爬取评论
查看网页源代码
给大家回顾以下，静态网页是怎么爬取的？
1、用requests.get获取数据
2、确定网页返回码是200
3、查看一下数据，你要的数据，是不是都出来了
4、解析一下数据，用beautifulsoup库、正则化表达、字符串切割等方法处理数据
5、把数据保存下来
根据我们之前的操作，我们会先右击看一下网页源代码。
如果我们要的内容，就在源代码里面，那万事大吉，直接按照我们之前爬豆瓣的那一套来
但是我们爬QQ音乐的时候，很悲伤的发现，网页源代码里面，没有数据了！！！
(只有一大堆看不懂的英文，连个中文字都没了！)
怎么办呢？我们去找，这个评论数据在哪里
获取网址
现在我们去找数据，和数据对应的网址
XHR
XHR 全称 XMLHttpRequest，它是浏览器内置的对象，使得 JavaScript 可以发送 HTTP 请求。
我们先右击打开“审查元素”，勾选Network—>勾选XHR—>查找我们要的内容
理论上，我们可以双击Name列表中的链接，一个一个找
有个小技巧，包含评论数据的东西，应该是比较大的，不至于只有几个B
所以我们翻了一下，发现有个链接有8.8KB，感觉相对大一点，我们打开链接看一下
看到了comment。没错，是了，数据就在里面
可以看到，这里面就包含了昵称、评论等内容
敏感一点的同学可以意识到，这其实就是一个字典啊！
我们点会到Headers，看一下这个网址，网址的获取方式是GET
我们先用这个网址，发现这时候，就已经包含评论数据了
import requests
headers = {
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36'
}
res = requests.get('https://c.y.qq.com/base/fcgi-bin/fcg_global_comment_h5.fcg?g_tk_new_20200303=5381&g_tk=5381&loginUin=0&hostUin=0&format=json&inCharset=utf8&outCharset=GB2312¬ice=0&platform=yqq.json&needNewCode=0&cid=205360772&reqtype=2&biztype=1&topid=1406731&cmd=8&needmusiccrit=0&pagenum=0&pagesize=25&lasthotcommentid=&domain=qq.com&ct=24&cv=10101010', headers=headers)
print(res.text)
参数
然后我们来重写这个网址，其实网址后面那一串参数，在Query String Parameters
把网址写法改一下，参数加上去
import requests
headers = {
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36'
}
params = {
'g_tk_new_20200303': '5381',
'g_tk': '5381',
'loginUin': '0',
'hostUin': '0',
'format': 'json',
'inCharset': 'utf8',
'outCharset': 'GB2312',
'notice': '0',
'platform': 'yqq.json',
'needNewCode': '0',
'cid': '205360772',
'reqtype': '2',
'biztype': '1',
'topid': '1406731',
'cmd': '8',
'needmusiccrit': '0',
'pagenum':'0',
'pagesize': '25',
'lasthotcommentid': '',
'domain': 'qq.com',
'ct': '24',
'cv': '10101010'
}
res = requests.get('https://c.y.qq.com/base/fcgi-bin/fcg_global_comment_h5.fcg', headers=headers, params=params)
print(res.text)
处理数据
JSON
JSON(JavaScript Object Notation)是一种轻量级的数据交换格式。 它的本质，是一个字符串，然后里面可能是字典，也可能是列表。
# 字典
dict = {'pagesize': 25}
# JSON
json = '{"pagesize": 25}'
# 列表
list = ['x', 'y', 'z']
# JSON
json = '["x", "y", "z"]'
我们需要用.json()来转换
为什么需要转换，而不是直接就是个字典？
因为 JSON是一种通用格式，不仅适用于Python，其他语言可以用。只是在Python里，它对应的是字典和列表
data = res.json() # data是字典格式
处理字典数据，是我们熟悉的部分
for item in data['comment']['commentlist']:
print('{}：{}'.format(item['nick'], item['rootcommentcontent']))
至此，我们就把第一页的数据读出来了，完整代码如下
import requests
headers = {
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36'
}
params = {
'g_tk_new_20200303': '5381',
'g_tk': '5381',
'loginUin': '0',
'hostUin': '0',
'format': 'json',
'inCharset': 'utf8',
'outCharset': 'GB2312',
'notice': '0',
'platform': 'yqq.json',
'needNewCode': '0',
'cid': '205360772',
'reqtype': '2',
'biztype': '1',
'topid': '1406731',
'cmd': '8',
'needmusiccrit': '0',
'pagenum':'0',
'pagesize': '25',
'lasthotcommentid': '',
'domain': 'qq.com',
'ct': '24',
'cv': '10101010'
}
res = requests.get('https://c.y.qq.com/base/fcgi-bin/fcg_global_comment_h5.fcg', headers=headers, params=params)
data = res.json()
# 这是[最新评论]列表
for item in data['comment']['commentlist']:
print('{}：{}'.format(item['nick'], item['rootcommentcontent']))
# 这是[精彩评论]列表
for item in data['hot_comment']['commentlist']:
print('{}：{}'.format(item['nick'], item['rootcommentcontent']))
翻页
经过观察，我们发现，每次翻页，Query String Parameters 里面，只有两个参数变了。
其中pagenum比较好理解，就是每一次翻页，数字加一
我们重点来找一下，lasthotcommentid 这个参数在哪里
发现这个单词，就是last hot comment id，最后一个评论的ID
因为QQ音乐有两种评论，最新评论和精彩评论，我们不确定到底是哪个ID，所以我们需要翻页确认一下
我们观察一下data['comment']和data['hot_comment']，最后发现，数据在data['comment']中
import requests
import time
headers = {
'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.132 Safari/537.36'
}
# 第一次 lasthotcommentid 为空
lasthotcommentid = ''
# 前五页
for pagenum in range(5):
params = {
'g_tk_new_20200303': '5381',
'g_tk': '5381',
'loginUin': '0',
'hostUin': '0',
'format': 'json',
'inCharset': 'utf8',
'outCharset': 'GB2312',
'notice': '0',
'platform': 'yqq.json',
'needNewCode': '0',
'cid': '205360772',
'reqtype': '2',
'biztype': '1',
'topid': '1406731',
'cmd': '8',
'needmusiccrit': '0',
'pagenum': pagenum,
'pagesize': '25',
'lasthotcommentid': lasthotcommentid,
'domain': 'qq.com',
'ct': '24',
'cv': '10101010'
}
res = requests.get('https://c.y.qq.com/base/fcgi-bin/fcg_global_comment_h5.fcg', headers=headers, params=params)
data = res.json()
print('==================================\n爬虫QQ音乐：{}第{}页\n=================================='.format(data['topic_name'],pagenum+1))
for item in data['comment']['commentlist']:
print('{}：{}'.format(item['nick'], item['rootcommentcontent']))
# 当前页最后一个评论的 commentid 作为下一页的 lasthotcommentid
lasthotcommentid = data['comment']['commentlist'][-1]['commentid']
# 防止爬取太快被封
time.sleep(1)
保存数据
import requests
import time
import xlwt
headers = {
'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.132 Safari/537.36'
}
lasthotcommentid = ''
params = {
'g_tk_new_20200303': '5381',
'g_tk': '5381',
'loginUin': '0',
'hostUin': '0',
'format': 'json',
'inCharset': 'utf8',
'outCharset': 'GB2312',
'notice': '0',
'platform': 'yqq.json',
'needNewCode': '0',
'cid': '205360772',
'reqtype': '2',
'biztype': '1',
'topid': '1406731',
'cmd': '8',
'needmusiccrit': '0',
'pagenum': 0,
'pagesize': '25',
'lasthotcommentid': lasthotcommentid,
'domain': 'qq.com',
'ct': '24',
'cv': '10101010'
}
def GetComment(headers, params):
res = requests.get('https://c.y.qq.com/base/fcgi-bin/fcg_global_comment_h5.fcg', headers=headers, params=params)
data = res.json()
return data
workbook = xlwt.Workbook()
row = 1
for pagenum in range(5):
params['pagenum'] = pagenum
params['lasthotcommentid'] = lasthotcommentid
data = GetComment(headers, params)
print('爬虫QQ音乐：{}第{}页'.format(data['topic_name'],pagenum+1))
if pagenum == 0:
sheet = workbook.add_sheet(data['topic_name'])
head = ['昵称', '评价']
for h in range(len(head)):
sheet.write(0, h, head[h])
for item in data['comment']['commentlist']:
sheet.write(row, 0, item['nick'])
sheet.write(row, 1, item['rootcommentcontent'])
row += 1
lasthotcommentid = data['comment']['commentlist'][-1]['commentid']
time.sleep(1)
workbook.save('QQ音乐评论.xls')
print('写入excel成功')