Python数据采集案例(4)：B站UP主发布视频信息采集
作者：长行
时间：2020.05.29
Github原文：Week-04/Example-0404
实现目标
本案计划实现：通过网络请求，获取UP主发布的所有视频的信息（包括视频标题、视频播放次数），并输出到控制台。
【案例应用技巧】
- GET请求(requests)：headers
- 浏览器抓包(Chrome)
- 翻页
- Json解析(json)
实现过程
当前爬虫的实现流程如下：
- 确定数据所在的Url，以及控制翻页的参数
- 执行网页请求并解决请求中出现的问题
- Json解析
- 实现翻页
下面我们按着以上步骤来依次完成。
确定数据所在Url
在Chrome浏览器中打开一个UP主的视频页面，以“共青团中央”为例，其Url为：https://space.bilibili.com/20165629/video。
通过观察，我们发现我们需要的信息并没有存在于网页源代码中，这说明是这些信息是通过Ajax加载的。
此时，我们可以打开Chrome浏览器的控制台（快捷键为F12），进入Network选项卡。
Network选项卡中显示了浏览器所有请求的列表，Name为请求的Url，Type为请求的类型，而我们就需要在请求列表中找到包含视频信息数据的请求。在寻找包含目标信息数据的请求时，我们可以通过如下操作来帮助我们更好地寻找：
- 点击左上角灰色的禁止符，清空请求列表，然后重新刷新页面（执行能够使目标数据发生变化的操作），进而方便我们的搜索范围；
- 依据类型筛选，其中常用的包括：XHR为文本格式内容、Js为javascript脚本、CSS为样式表、Img为图像、Media为视频；但是有的时候我们需要的数据并不一定会被分入对应的类型中，如果对应类型中没有找到，就不要筛选了；
- 可以参考目标数据被显示的时间，重点在显示时间点前后的时间范围内寻找。
在缩小范围后，我们发现找到search?...请求很可能就是包含视频信息的请求。为了验证目标数据是否在这个请求中，我们双击它，在打开的新页面中我们的确可以找到目标数据。
（安装Chrome的Json viewer插件后的显示结果如上图）
在这个请求中，Url包括如下参数（参数值以共青团中央账号第1页为例）：
mid = 20165629
ps = 30
tid = 0
pn = 1
keyword
order = pubdate
jsonp = jsonp
经过多次试验（选择不同标签、不同顺序、不同页面、不同UP主的多次尝试），我们发现：
- mid：UP主的ID，可以通过UP主主页的Url获得
- ps：当前页获取的视频数量
- tid：视频标签类型（0=全部、1=动画、3=音乐、4=游戏、5=娱乐、11=电视剧、23=电影、36=科技、119=鬼畜、129=舞蹈、155=时尚、160=生活、165=广告……）
- pn：当前页面数（从1开始计数）
- keyword：搜索关键词（默认为空）
- order：视频顺序（最新发布=pubdate、最多播放=click、最多收藏=stow）
- jsonp：未知作用，可当常量使用
因此，我们只需要修改pn，即可实现翻页。
网页请求
以下过程建议大家使用IDLE或PyCharm的Python Console模式来进行测试，减少网站的实际请求次数，以减少对目标网站的影响，以免被IP封锁。
我们先以第1页为例进行尝试，使用headers来伪装我们的请求。实现代码如下：
from urllib.parse import urlencode
import requests
headers = {
"accept": "application/json, text/plain, */*",
"accept-language": "zh-CN,zh;q=0.9",
"cache-control": "no-cache",
"origin": "https://space.bilibili.com",
"referer": "https://space.bilibili.com/20165629/video",
"pragma": "no-cache",
"Sec-Fetch-Dest": "empty",
"Sec-Fetch-Mode": "cors",
"Sec-Fetch-Site": "same-site",
"Upgrade-Insecure-Requests": "1",
"user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.61 Safari/537.36",
} # Headers
param_dict = {
"mid": 20165629,
"ps": 30,
"tid": 0,
"pn": 1,
"keyword": "",
"order": "pubdate",
"jsonp": "jsonp",
} # 参数列表
response = requests.get("https://api.bilibili.com/x/space/arc/search?" + urlencode(param_dict), headers=headers)
print(response.content.decode(errors="ignore"))
（其中urlencode用于整理URL参数）
暂时先不要在headers中添加“Accept-Encoding”，否则请求结果可能会被压缩，影响解析。
在打印出的内容中，我们通过搜索可以找到目标数据，说明请求无误。
Json解析
通过观察，我们发现返回的结果为Json格式数据，观察Json数据格式后，我们使用如下方法解析其中视频的视频标题和播放次数，并输出到控制台：
response_json = response.json() # 将返回结果解析为Json格式
video_list = list()
for video_item in response_json["data"]["list"]["vlist"]: # 遍历视频信息
video_title = video_item["title"] # 标题
video_play = video_item["play"] # 播放次数
print("标题:", video_title)
print("播放次数:", video_play)
实现翻页
在完成了单页面的解析后，我们开始实现翻页。根据之前对页面的了解，我们只需要不断修改参数列表中的pn即可实现翻页。同时，可以通过请求结果中返回的视频总数，来计算需要请求的页数。在每次循环中均需进行延迟，以免请求频率过高。实现代码如下：
import time
import math
now_page = 1
max_page = 2
while now_page <= max_page:
print("正在请求第", now_page, "页......")
param_dict["pn"] = now_page # 将当前页填入到参数列表中
response = requests.get("https://api.bilibili.com/x/space/arc/search?" + urlencode(param_dict), headers=headers)
response_json = response.json() # 将返回结果解析为Json格式
now_page += 1 # 页面累加
max_page = math.ceil(response_json["data"]["page"]["count"] / 30) # 获取UP主视频总数(用以控制翻页次数)
......
time.sleep(5)
本系列案例采集的一切数据仅可用于学习、研究用途！