QQ音乐评论

有些小伙伴反馈，对于爬虫的完整流程，还是不清楚，这边就按顺序，给大家梳理一下

反爬

首先查看一下，我们要爬取的网页，是否反爬（各种侵害人家服务器的事情，我们不能干）

QQ音乐网址：https://y.qq.com
要查看该网页的反爬要求，可以直接在网页后加/robots.txt
QQ音乐反爬要求就是：https://y.qq.com/robots.txt

看了一下官网不给爬的内容，没有说不可以爬评论，那我们就爬了~

今天我们爬虫，以QQ音乐，杨千嬅的《野孩子》为例，爬取评论

查看网页源代码

给大家回顾以下，静态网页是怎么爬取的？
1、用requests.get获取数据
2、确定网页返回码是200
3、查看一下数据，你要的数据，是不是都出来了
4、解析一下数据，用beautifulsoup库、正则化表达、字符串切割等方法处理数据
5、把数据保存下来

根据我们之前的操作，我们会先右击看一下网页源代码。
如果我们要的内容，就在源代码里面，那万事大吉，直接按照我们之前爬豆瓣的那一套来

但是我们爬QQ音乐的时候，很悲伤的发现，网页源代码里面，没有数据了！！！
（只有一大堆看不懂的英文，连个中文字都没了！）
怎么办呢？我们去找，这个评论数据在哪里

获取网址

现在我们去找数据，和数据对应的网址

XHR

XHR 全称 XMLHttpRequest，它是浏览器内置的对象，使得 JavaScript 可以发送 HTTP 请求。
我们先右击打开“审查元素”，勾选Network—>勾选XHR—>查找我们要的内容
理论上，我们可以双击Name列表中的链接，一个一个找
有个小技巧，包含评论数据的东西，应该是比较大的，不至于只有几个B

所以我们翻了一下，发现有个链接有8.8KB，感觉相对大一点，我们打开链接看一下

看到了comment。没错，是了，数据就在里面

可以看到，这里面就包含了昵称、评论等内容
敏感一点的同学可以意识到，这其实就是一个字典啊！
我们点会到Headers，看一下这个网址，网址的获取方式是GET

我们先用这个网址，发现这时候，就已经包含评论数据了

import requests

headers = {
  'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36'
}
res = requests.get('https://c.y.qq.com/base/fcgi-bin/fcg_global_comment_h5.fcg?g_tk_new_20200303=5381&g_tk=5381&loginUin=0&hostUin=0&format=json&inCharset=utf8&outCharset=GB2312¬ice=0&platform=yqq.json&needNewCode=0&cid=205360772&reqtype=2&biztype=1&topid=1406731&cmd=8&needmusiccrit=0&pagenum=0&pagesize=25&lasthotcommentid=&domain=qq.com&ct=24&cv=10101010', headers=headers)

print(res.text)

参数

然后我们来重写这个网址，其实网址后面那一串参数，在Query String Parameters

把网址写法改一下，参数加上去

import requests

headers = {
  'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36'
}
params = {
        'g_tk_new_20200303': '5381',
        'g_tk': '5381',
        'loginUin': '0',
        'hostUin': '0',
        'format': 'json',
        'inCharset': 'utf8',
        'outCharset': 'GB2312',
        'notice': '0',
        'platform': 'yqq.json',
        'needNewCode': '0',
        'cid': '205360772',
        'reqtype': '2',
        'biztype': '1',
        'topid': '1406731',
        'cmd': '8',
        'needmusiccrit': '0',
        'pagenum':'0',
        'pagesize': '25',
        'lasthotcommentid': '',
        'domain': 'qq.com',
        'ct': '24',
        'cv': '10101010'
        }
res = requests.get('https://c.y.qq.com/base/fcgi-bin/fcg_global_comment_h5.fcg', headers=headers, params=params)
print(res.text)

处理数据

JSON

JSON（JavaScript Object Notation）是一种轻量级的数据交换格式。它的本质，是一个字符串，然后里面可能是字典，也可能是列表。

# 字典
dict = {'pagesize': 25}

# JSON
json = '{"pagesize": 25}'

# 列表
list = ['x', 'y', 'z']

# JSON
json = '["x", "y", "z"]'

我们需要用.json()来转换
为什么需要转换，而不是直接就是个字典？
因为 JSON是一种通用格式，不仅适用于Python，其他语言可以用。只是在Python里，它对应的是字典和列表

data = res.json()  # data是字典格式

处理字典数据，是我们熟悉的部分

for item in data['comment']['commentlist']:
  print('{}：{}'.format(item['nick'], item['rootcommentcontent']))

至此，我们就把第一页的数据读出来了，完整代码如下

import requests

headers = {
  'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36'
}
params = {
        'g_tk_new_20200303': '5381',
        'g_tk': '5381',
        'loginUin': '0',
        'hostUin': '0',
        'format': 'json',
        'inCharset': 'utf8',
        'outCharset': 'GB2312',
        'notice': '0',
        'platform': 'yqq.json',
        'needNewCode': '0',
        'cid': '205360772',
        'reqtype': '2',
        'biztype': '1',
        'topid': '1406731',
        'cmd': '8',
        'needmusiccrit': '0',
        'pagenum':'0',
        'pagesize': '25',
        'lasthotcommentid': '',
        'domain': 'qq.com',
        'ct': '24',
        'cv': '10101010'
        }
res = requests.get('https://c.y.qq.com/base/fcgi-bin/fcg_global_comment_h5.fcg', headers=headers, params=params)

data = res.json()

# 这是[最新评论]列表
for item in data['comment']['commentlist']:
  print('{}：{}'.format(item['nick'], item['rootcommentcontent']))

# 这是[精彩评论]列表
for item in data['hot_comment']['commentlist']:
  print('{}：{}'.format(item['nick'], item['rootcommentcontent']))

翻页

经过观察，我们发现，每次翻页，Query String Parameters 里面，只有两个参数变了。
其中pagenum比较好理解，就是每一次翻页，数字加一

我们重点来找一下，lasthotcommentid 这个参数在哪里
发现这个单词，就是last hot comment id，最后一个评论的ID
因为QQ音乐有两种评论，最新评论和精彩评论，我们不确定到底是哪个ID，所以我们需要翻页确认一下
我们观察一下data['comment']和data['hot_comment']，最后发现，数据在data['comment']中

import requests
import time

headers = {
  'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.132 Safari/537.36'
}
# 第一次 lasthotcommentid 为空
lasthotcommentid = ''
# 前五页
for pagenum in range(5):
    params = {
            'g_tk_new_20200303': '5381',
            'g_tk': '5381',
            'loginUin': '0',
            'hostUin': '0',
            'format': 'json',
            'inCharset': 'utf8',
            'outCharset': 'GB2312',
            'notice': '0',
            'platform': 'yqq.json',
            'needNewCode': '0',
            'cid': '205360772',
            'reqtype': '2',
            'biztype': '1',
            'topid': '1406731',
            'cmd': '8',
            'needmusiccrit': '0',
            'pagenum': pagenum,
            'pagesize': '25',
            'lasthotcommentid': lasthotcommentid,
            'domain': 'qq.com',
            'ct': '24',
            'cv': '10101010'
            }
    res = requests.get('https://c.y.qq.com/base/fcgi-bin/fcg_global_comment_h5.fcg', headers=headers, params=params)
    data = res.json()
    print('==================================\n爬虫QQ音乐：{}第{}页\n=================================='.format(data['topic_name'],pagenum+1))
    for item in data['comment']['commentlist']:
        print('{}：{}'.format(item['nick'], item['rootcommentcontent']))
    
    # 当前页最后一个评论的 commentid 作为下一页的 lasthotcommentid
    lasthotcommentid = data['comment']['commentlist'][-1]['commentid']
    
    # 防止爬取太快被封
    time.sleep(1)

保存数据

import requests
import time
import xlwt  

headers = {
  'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.132 Safari/537.36'
}
lasthotcommentid = ''
params = {
        'g_tk_new_20200303': '5381',
        'g_tk': '5381',
        'loginUin': '0',
        'hostUin': '0',
        'format': 'json',
        'inCharset': 'utf8',
        'outCharset': 'GB2312',
        'notice': '0',
        'platform': 'yqq.json',
        'needNewCode': '0',
        'cid': '205360772',
        'reqtype': '2',
        'biztype': '1',
        'topid': '1406731',
        'cmd': '8',
        'needmusiccrit': '0',
        'pagenum': 0,
        'pagesize': '25',
        'lasthotcommentid': lasthotcommentid,
        'domain': 'qq.com',
        'ct': '24',
        'cv': '10101010'
        }

def GetComment(headers, params):
    res = requests.get('https://c.y.qq.com/base/fcgi-bin/fcg_global_comment_h5.fcg', headers=headers, params=params)
    data = res.json()
    return data

workbook = xlwt.Workbook()     
row = 1
for pagenum in range(5):    
    params['pagenum'] = pagenum
    params['lasthotcommentid'] = lasthotcommentid
    data = GetComment(headers, params)
    print('爬虫QQ音乐：{}第{}页'.format(data['topic_name'],pagenum+1))    
    if pagenum == 0:        
        sheet = workbook.add_sheet(data['topic_name'])  
        head = ['昵称', '评价'] 
        for h in range(len(head)):
            sheet.write(0, h, head[h])            
    for item in data['comment']['commentlist']:
        sheet.write(row, 0, item['nick'])
        sheet.write(row, 1, item['rootcommentcontent'])    
        row += 1
    lasthotcommentid = data['comment']['commentlist'][-1]['commentid']
    time.sleep(1)
    
workbook.save('QQ音乐评论.xls')  
print('写入excel成功')

爬虫：QQ音乐评论