13-爬虫之js加密，解密，混淆，逆向破解思路
url：https://www.aqistudy.cn/apinew/aqistudyapi.php
分析思路：
原图
现图
1，我们点击查询按钮后发现抓取到了2个一样的数据包，包含请求url和post的请求方式
2，发起多次请求发现 请求参数 d 是动态加密的数据值，我们只要能破解其中一个数据包的内容剩下的一个也可以同理破解
3，返回的响应数据就是我们想要捕获的空气指标数据值，我们发现响应数据也是一组被加密的密文数据，我们必须将密文数据解密成原文数据才可以被我们使用
4，通过类型可以看见发起的是ajax请求
分析的结论
请求url
Request URL: https://www.aqistudy.cn/apinew/aqistudyapi.php
请求方式
Request Method: POST
动态变化的参数
d: tdgHOYxwKdDSgYXe+RLPzYCgLvrddahasI5XXklB4gVLYqab+XRPpMD/oSqnJ/aEmFwzVEUhLnPzRy03+X1BIzLvxQKwu4A3YsqR3OemYgNnHqPdBwvJlbxia99YeK+xVtm/KUfxgICnZHiin/ojfqe1ZJXPHKDaOqwKab2iJt6YQRF4WQWYusdfEXhDolRtLCUy8ht8s821u5VxPcU+NezPIcU8U830QPCeWGAkKrHcsmuUaEHoRLJjnqpMnaid8OfacV5HCUeVhK3Uhju9Sr+bGsXveRwJFs5t307AlxFmwOBzCa6T6fmAQK9+1KoOfUz8EtNUEQkMB1LQBarJd9qsFKpe6TnoLFJ9G6xud+YIs8GecqTX4Pf2urDJLQ3LLfmLqMo7H/7LwYcq2BxyJiGqG2Xpp5wdr9L+oCZisZ9yKEBuYIprEM6A9PMUKADaw5ZESt11e9YX/xbkKPbnaw==
返回的加密的响应数据
f9VXvMyFOzW7AzFWZjMa3oW5basBySGVYXbOpPoS6/W7Dh2wAk4bbiAr7xpyn/meJ/Hem3nHWnk4WtHFwrhKIyDSu2SUsVB5a/jusoqnpmDCxqr9YxCavi6qiilWtiVa49+C70wNGkoQqdo5w3hB/g==
破解操作
请求得到的数据是一组加密数据，但是web前台展示的是一组明文数据，原因是前台将响应回来的密文数据进行了解密
注：在该网站的相关数据包中是存在这解密方法，我们只需要将其解密方法获取，就可对密文数据进行解密
找寻ajax请求的代码
获取搜索按钮对应的点击事件绑定的函数即可（使用火狐浏览器找寻点击事件的函数代码）
点击搜索按钮对应的点击事件函数名叫做getData，进入该函数内部扎寻ajax请求代码
找到了getDate函数的实现
-
没有发现ajax代码的实现
-
发现函数内部调用了另外的两个函数getAQIData();
getWeatherData(); -
那么ajax代码的实现一定是在上诉两个函数内部
-
有价值的信息： type==“HOUR” 查询时间是以小时为单位
-
进入getAQIData();getWeatherData();函数内部找寻ajax代码实现
- 在这两个函数内部没有发现ajax代码的实现
- 发现他两都调用了一个名叫getServerData()的函数，那么ajax代码一定存在getServerData()函数中
进入getServerData函数内部找寻ajax代码
- 通过搜索我们发现只有2个getServerData的调用并不是函数的定义，那么getServerData并不在 city_datail.html中
- 函数实现的找寻，需要在抓包工具中进行全局搜索
- 找到的结果是密文
js 混淆
- 在网站后台，关键的重要的js函数的实现为了保密，一般会对这些js函数代码进行混淆（加密），所以我们需要对js混淆的代码进行反混淆，将js加密的函数进行解密
js反混淆
js混淆暴力破解https://www.bm8.com.cn/jsConfusion/
function getServerData(method, object, callback, period) {
const key = hex_md5(method + JSON.stringify(object));
const data = getDataFromLocalStorage(key, period);
if (!data) {
var param = getParam(method, object);
$.ajax({
url: '../apinew/aqistudyapi.php', #请求url
data: {
d: param #加密且动态变化的请求参数
},
type: "post",#请求方式
#data请求到的加密的响应数据
success: function (data) {
data = decodeData(data);#将data这个加密的响应数据进行解密
obj = JSON.parse(data);
if (obj.success) {
if (period > 0) {
obj.result.time = new Date().getTime();
localStorageUtil.save(key, obj.result)
}
callback(obj.result)
} else {
console.log(obj.errcode, obj.errmsg)
}
}
})
} else {
callback(data)
}
}
分析getServerData函数实现的ajax代码：
js逆向
我们需要借助于 PyExecJS 库来实现模拟JavaScript代码执行获取动态加密的请求参数，然后再将加密的响应数据带入decodeData进行解密即可！
- PyExecJS介绍：PyExecJS 是一个可以使用 Python 来模拟运行 JavaScript 的库。我们需要
pip install PyExecJS对其进行环境安装。 - 以及安装nodejs的开发环境：
https://jingyan.baidu.com/article/e4511cf38c05092b845eaf9b.html
- 开始执行js：- 1.创建一个jsCode.js文件将反混淆网站中的代码粘贴进去
- 2.在jsCode.js文件中添加一个自定义函数getPostParamCode，该函数是为了获取且返回post请求的动态加密参数：
function getPostParamCode(method, city, type, startTime, endTime){
var param = {
};
param.city = city;
param.type = type;
param.startTime = startTime;
param.endTime = endTime;
return getParam(method, param);
}
- 在py源文件中可以基于PyExecJS模拟执行jsCode.js中定义好的自定义函数，获取动态加密参数：
import execjs
import requests
url = "https://www.aqistudy.cn/apinew/aqistudyapi.php"
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36"
}
#实例化一个对象
node = execjs.get()
# Params
method = 'GETCITYWEATHER'
city = '北京'
type = 'HOUR'
start_time = '2020-08-27 00:00:00'
end_time = '2020-08-28 23:00:00'
# Compile javascript
file = 'jsCode.js' #代加载编译的js源文件
ctx = node.compile(open(file, encoding='utf-8').read())#加载编译的js源文件中的js代码
# Get params
js = 'getPostParamCode("{0}", "{1}", "{2}", "{3}", "{4}")'.format(method, city, type, start_time, end_time)
params = ctx.eval(js)# eval表示执行指定js函数
print(params)#返回的是加密变化的请求参数
- 我们用 requests 库来模拟 POST 请求
import execjs
import requests
url = "https://www.aqistudy.cn/apinew/aqistudyapi.php"
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36"
}
#实例化一个对象
node = execjs.get()
# Params
method = 'GETCITYWEATHER'
city = '北京'
type = 'HOUR'
start_time = '2020-08-27 00:00:00'
end_time = '2020-08-28 23:00:00'
# Compile javascript
file = 'jsCode.js' #代加载编译的js源文件
ctx = node.compile(open(file, encoding='utf-8').read())#加载编译的js源文件中的js代码
# Get params
js = 'getPostParamCode("{0}", "{1}", "{2}", "{3}", "{4}")'.format(method, city, type, start_time, end_time)
params = ctx.eval(js)# eval表示执行指定js函数
print(params)
data = {
"d":params
}
page_text = requests.post(url=url,headers=headers,data=data).text
print(page_text)# 返回的是加密的响应数据
- 接下来我们再调用一下 JavaScript 中的 decodeData() 方法即可实现解密：
完整代码
import execjs
import requests
url = "https://www.aqistudy.cn/apinew/aqistudyapi.php"
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36"
}
#实例化一个对象
node = execjs.get()
# Params
method = 'GETCITYWEATHER'
city = '北京'
type = 'HOUR'
start_time = '2020-08-27 00:00:00'
end_time = '2020-08-28 23:00:00'
# Compile javascript
file = 'jsCode.js' #代加载编译的js源文件
ctx = node.compile(open(file, encoding='utf-8').read())#加载编译的js源文件中的js代码
# Get params
js = 'getPostParamCode("{0}", "{1}", "{2}", "{3}", "{4}")'.format(method, city, type, start_time, end_time)
params = ctx.eval(js)# eval表示执行指定js函数
print(params)
data = {
"d":params
}
page_text = requests.post(url=url,headers=headers,data=data).text
print(page_text)# 返回的是加密的响应数据
# 对加密的响应数据进行解密
js = 'decodeData("{0}")'.format(page_text)
decrypted_data = ctx.eval(js)
print(decrypted_data) #解密后的真实数据
完美结束