Python爬取百度指数中的搜索指数
本文是在实际需要中使用爬虫获取数据，然后进行对应的数据分析，仅是学习用途，特此记录。
1.环境：Python3.7+PyCharm
1.1 所需要的库：datetime，requests，execjs（非必须）
1.2 为了更好的查看json数据，建议在chrome中安装JSONView插件（https://github.com/gildas-lormeau/JSONView-for-Chrome）
2.百度指数中的数据获取难点：
2.1 百度指数的URL请求地址返回的数据，并不是可以直接进行json解析使用的数据，而是加密之后的数据和uniqid，需要通过uniqid再次请求对应的地址（后面部分介绍）获取到解密的密钥，然后在前端页面进行解密，然后再渲染到折线图中。
2.2 必须要在百度指数页面登录百度账号，由于时间关系，本次数据爬取都是在登录之后进行的操作。
2.3 需要将前端解密代码转化为Python代码，获取直接使用前端代码也可以。
2.3.1 不转换像下面这样使用也可以解密，直接利用execjs直接JavaScript代码即可。
# Python的强大之处就在于，拥有很强大的第三方库，可以直接执行js代码，即对解密算法不熟悉，无法转换为Python代码时，直接执行js代码即可
js = execjs.compile('''
function decryption(t, e){
for(var a=t.split(""),i=e.split(""),n={},s=[],o=0;o)
res = js.call('decryption', key, source) # 调用此方式解密，需要打开上面的注解
2.3.2 前端JavaScript代码对应的Python代码
# 搜索指数数据解密
def decryption(keys, data):
dec_dict = {
}
for j in range(len(keys) // 2):
dec_dict[keys[j]] = keys[len(keys) // 2 + j]
dec_data = ''
for k in range(len(data)):
dec_data += dec_dict[data[k]]
return dec_data
2.4 获取自己登陆之后的Cookie（必须要有，否则无法获取到数据），具体的Cookie获取如下图，请注意看我下图标红的地方。
3.爬取数据的步骤
3.1 构建请求头，爬虫必须，请求头直接全部复制2.4中的请求头即可。
header = {
'Accept': 'application/json, text/plain, */*',
'Accept-Encoding': 'gzip, deflate, br',
'Accept-Language': 'zh-CN,zh;q=0.9',
'Connection': 'keep-alive',
'Cookie': '你登陆之后的Cookie',
'Host': 'index.baidu.com',
'Referer': 'https://index.baidu.com/v2/main/index.html',
'sec-ch-ua': '" Not;A Brand";v="99", "Google Chrome";v="91", "Chromium";v="91"',
'sec-ch-ua-mobile': '?0',
'Sec-Fetch-Dest': 'empty',
'Sec-Fetch-Mode': 'cors',
'Sec-Fetch-Site': 'same-origin',
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.77 Safari/537.36'
}
3.2 分析url
3.2.1 请求数据的url,2.4已经给出
dataUrl = 'https://index.baidu.com/api/SearchApi/index?area=0&word=[[%7B%22name%22:%22%E4%B8%BD%E6%B1%9F%E5%8F%A4%E5%9F%8E%22,%22wordType%22:1%7D]]&days=30'
其中，汉字和部分符号被替换，只需找到对应的汉字部分即可，%22是"，所以，哪里是汉字，对比浏览器的地址栏就晓得了吧，url最后的days=30，代表获取一个月的数据，从当前日期的前一天往前推一个月，可以根据需要修改days获取更多的数据或者更少的数据。在浏览器中输入dataUrl中的内容，可以得到以下数据
经过对all,pc,wise对应的数据进行解密，和搜索指数的折线图显示的数据对比，发现all部分的数据就是搜索指数的数据。本次请求返回的数据就在这里了，可以看到uniqid，而且每次刷新加密的数据和uniqid都会变。
3.2.2 获取密钥的url
经过多次分析，发现请求数据的url下面的uniqid出现在了下面这个url中
因此需要先对请求数据对应的url进行数据获取，解析出搜索指数对应的加密数据和uniqid，然后拼接url获取密钥，最后调用解密方法解密即可获取到搜索指数的数据。
keyUrl = 'https://index.baidu.com/Interface/ptbk?uniqid='
3.2.3 找到了对应的url，我们的爬虫也就完成了，接下来就是发送请求，解析数据，然后对数据进行解密即可。
4.完整代码
import datetime
import requests
import execjs
# 搜索指数数据解密
def decryption(keys, data):
dec_dict = {
}
for j in range(len(keys) // 2):
dec_dict[keys[j]] = keys[len(keys) // 2 + j]
dec_data = ''
for k in range(len(data)):
dec_data += dec_dict[data[k]]
return dec_data
if __name__ == "__main__":
scenicName = '丽江古城'
dataUrl = 'https://index.baidu.com/api/SearchApi/index?area=0&word=[[%7B%22name%22:%22' + scenicName + '%22,%22wordType%22:1%7D]]&days=30'
keyUrl = 'https://index.baidu.com/Interface/ptbk?uniqid='
header = {
'Accept': 'application/json, text/plain, */*',
'Accept-Encoding': 'gzip, deflate, br',
'Accept-Language': 'zh-CN,zh;q=0.9',
'Connection': 'keep-alive',
'Cookie': '你登陆之后的Cookie',
'Host': 'index.baidu.com',
'Referer': 'https://index.baidu.com/v2/main/index.html',
'sec-ch-ua': '" Not;A Brand";v="99", "Google Chrome";v="91", "Chromium";v="91"',
'sec-ch-ua-mobile': '?0',
'Sec-Fetch-Dest': 'empty',
'Sec-Fetch-Mode': 'cors',
'Sec-Fetch-Site': 'same-origin',
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.77 Safari/537.36'
}
# 设置请求超时时间为30秒
resData = requests.get(dataUrl, timeout=30, headers=header)
uniqid = resData.json()['data']['uniqid']
print("uniqid:{}".format(uniqid))
keyData = requests.get(keyUrl + uniqid, timeout=30, headers=header)
keyData.raise_for_status()
keyData.encoding = resData.apparent_encoding
# 开始对json数据进行解析
startDate = resData.json()['data']['userIndexes'][0]['all']['startDate']
print("startDate:{}".format(startDate))
endDate = resData.json()['data']['userIndexes'][0]['all']['endDate']
print("endDate:{}".format(endDate))
source = (resData.json()['data']['userIndexes'][0]['all']['data']) # 原加密数据
print("原加密数据:{}".format(source))
key = keyData.json()['data'] # 密钥
print("密钥:{}".format(key))
# Python的强大之处就在于，拥有很强大的第三方库，可以直接执行js代码，即对解密算法不熟悉，无法转换为Python代码时，直接执行js代码即可
# js = execjs.compile('''
# function decryption(t, e){
# for(var a=t.split(""),i=e.split(""),n={},s=[],o=0;o
# n[a[o]]=a[a.length/2+o]
# for(var r=0;r
# s.push(n[i[r]])
# return s.join("")
# }
# ''')
# res = js.call('decryption', key, source) # 调用此方式解密，需要打开上面的注解
res = decryption(key, source)
# print(type(res))
resArr = res.split(",")
dateStart = datetime.datetime.strptime(startDate, '%Y-%m-%d')
dateEnd = datetime.datetime.strptime(endDate, '%Y-%m-%d')
dataLs = []
while dateStart <= dateEnd:
dataLs.append(str(dateStart))
dateStart += datetime.timedelta(days=1)
# print(dateStart.strftime('%Y-%m-%d'))
ls = []
for i in range(len(dataLs)):
ls.append([scenicName, dataLs[i], resArr[i]])
for i in range(len(ls)):
print(ls[i])
5.总结
总的来说，本次爬虫大体完成，在代码的编写之余，查阅了解密算法的Python实现，还查看了对日期的操作博客，所有的博客地址如下：
https://blog.csdn.net/weixin_41074255/article/details/90579939
https://blog.csdn.net/junli_chen/article/details/52944724
https://blog.csdn.net/lilongsy/article/details/80242427
https://blog.csdn.net/philip502/article/details/14004815/
感谢各位大牛的博客，因为有了你们我才能完成这篇博客，本文只为记录我在实际中遇到的问题和解决的方法，如有不足还请见谅，若有更好的解决方式，可以评论出来大家一起参考。