百家号个人账号爬虫
百家号爬虫
爬取内容：个人账号下的全部内容
爬取步骤
一开始用request库发现得不到数据，访问页面的时候加了一层通行证类似的东西。
所以选择用Selenium模拟浏览器的操作。
1、用Selenium模拟打开需要爬取的个人页面
# 创建一个浏览器实例
driver = webdriver.Chrome()
# 打开网站
driver.get("https://author.baidu.com/home/92")
成功打开网页后，F12打开开发者工具，页面不断往下滑发现前端页面是异步加载，那么前端一定会有新的请求发送给后端，得到新数据后在前端渲染出来。
2、找到前后端交互数据的请求
找到响应的请求
可以看到响应内容主要是包含动态的一个列表，那么这就是我们需要的
缩减请求URL，通过每次删除一个参数，对比结果，得到一个较短的URL地址
https://mbd.baidu.com/webpage?tab=main&num=10&uk=hHNfE_FRm443SRWFXvs_HA&source=pc&ctime=16747263512750&type=newhome&action=dynamic&format=jsonp&otherext=h5_20231027211324&Tenger-Mhor=149607609&callback=__jsonp81698889050544
缩减后请求URL
https://mbd.baidu.com/webpage?tab=main&num=10&uk=hHNfE_FRm443SRWFXvs_HA&ctime=16747263512750&type=newhomeformat=jsonp
主要参数分析：
- num：每次返回的动态内容的条数
- uk：要爬取用户的唯一标识
- ctime：动态的标识，表示获取内容从当前动态开始，往后num条（当没有ctime参数时默认从第一条动态开始）
从哪里获取这些参数来构造一个新的请求呢？
UK值的获取
在页面元素中搜索当前用户的uk值“hHNfE_FRm443SRWFXvs_HA”，发现包含在body的script标签中
获取UK代码
headContainer = driver.find_element_by_xpath("//*[@id='app']/div/div[3]/div/div/div/div[2]/h2")
scriptContainer = driver.find_element_by_xpath("/html/body/script[2]")
scriptHTML = scriptContainer.get_attribute("innerHTML")
ukSet = set(s for s in scriptHTML.split("&") if s.startswith("uk"))
uk = ukSet.pop().split("=")[-1]
ctime值的获取
对于ctime的获取，就是请求响应中dynamic_ctime_raw的值
3、用Selenium模拟地址栏输入访问请求
知道这些主要参数后，就可以构造新的请求，用Selenium模拟打开这个请求
# 模拟在地址栏输入URL
script = 'window.location.href = "https://mbd.baidu.com/webpage?tab=main&num=10&uk= {}&ctime{}&type=newhome&action=dynamic&format=jsonp"'.format(uk, ctime)
driver.execute_script(script)
4、爬取结果
里面包含了动态的标题，点赞，评论，图片或视频链接
源代码
import json
import time
from selenium import webdriver
# 创建一个浏览器实例
driver = webdriver.Chrome()
# 打开网站
driver.get("https://author.baidu.com/home/92")
headContainer = driver.find_element_by_xpath("//*[@id='app']/div/div[3]/div/div/div/div[2]/h2")
scriptContainer = driver.find_element_by_xpath("/html/body/script[2]")
scriptHTML = scriptContainer.get_attribute("innerHTML")
ukSet = set(s for s in scriptHTML.split("&") if s.startswith("uk"))
uk = ukSet.pop().split("=")[-1]
ctime = ""
while 1:
# 模拟在地址栏输入URL
script = 'window.location.href = "https://mbd.baidu.com/webpage?tab=main&num=10&uk={}&ctime={}&type=newhome&action=dynamic&format=jsonp"'.format(
uk, ctime)
driver.execute_script(script)
jsonp_str = driver.find_element_by_xpath("/html/body/pre")
jsonp_str = jsonp_str.text
# 提取JSON数据
start_index = jsonp_str.index('(') + 1
end_index = jsonp_str.rindex(')')
json_str = jsonp_str[start_index:end_index]
# 将JSON字符串转换为Python对象
data = json.loads(json_str)
# 输出转换后的Python对象
postList = data["data"]["list"]
print("当前帖子数：", len(postList))
if len(postList) == 0:
print("爬取完毕！！！")
break
for postItem in postList:
ctime = postItem["dynamic_ctime_raw"]
itemData = postItem["itemData"]
print(itemData)