爬虫----js逆向/js反解析

目录

    • 一:js反解析思路:
    • 二:有道翻译案例:
      • 1: 了解前端md5加密过程:
      • 2:完整代码:
      • 3:了解js代码转python代码:

一:js反解析思路:

  • 1:抓包先找到请求url:
  • 2:分析请求要携带的参数:请求头,参数。
  • 3:抓包分析哪些参数是改变的,哪些是不变的。
  • 4:分析参数的生成过程—在js中寻找参数的生成过程。

案例:分析有道翻译:
1: 找到请求的url:
爬虫----js逆向/js反解析_第1张图片
2:分析请求要携带的参数:请求头,参数。
先分析出最常见的要携带的请求头参数:
爬虫----js逆向/js反解析_第2张图片
3:分析请求参数,哪些是改变的:
爬虫----js逆向/js反解析_第3张图片
4:在js中搜索,salt或者sign返回的地方:
爬虫----js逆向/js反解析_第4张图片
在这里插入图片描述

5:找到代码位置,分析js代码:
按住ctrl + F :在js中搜索。(图中错了,时间戳是13位)
爬虫----js逆向/js反解析_第5张图片
6:分析总结:

e: 输入的要翻译的内容。
ts: 当前时间戳字符串 [13位]
salt: 时间戳字符串拼接上0-9 的随机整数。
bv: 将 User-Agent 经过 md5 加密之后的密文
sign: 将 “fanyideskweb” + e + i + "Nw(nmmbP%A-r6U3EUn]Aj"经过 md5 加密之后的密文。

二:有道翻译案例:

1: 了解前端md5加密过程:

import _hashlib
import hashlib
md5_str = "python"

# 1:创建md5对象
md5 = hashlib.md5()
print(type(md5))
# 
# 2:想对象中添加要加密的字符串
md5.update(md5_str.encode())
# 3:获取加密的结果:
ret = md5.hexdigest()
print(ret)
# 23eeeb4347bdd26bfc6b7ee9a3b755dd

2:完整代码:

import random
import time
import hashlib
import requests

class YoudaoSpider(object):

    def __init__(self, word):
        """初始化方法"""
        self.url = " http://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule"
        self.headers = {
     
            "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36",
            "Cookie": 'OUTFOX_SEARCH_USER_ID_NCOO=1946753269.7896786; OUTFOX_SEARCH_USER_ID="[email protected]"; JSESSIONID=aaa74ECzZIxo--iaSw9xx; ___rl__test__cookies=1606276051961',
            "Referer": "http://fanyi.youdao.com/"
        }
        self.word = word
        self.post_body = {
     }

    def genrator_post_body(self):
        """生成请求体字典方法"""
        # 1:拿到13位的时间戳
        ts = str(int(time.time()*1000))
        # 2: 得到salt = 13位时间戳+1位随机值
        salt = ts + str(random.randint(0, 10))
        # 3: 得到sign = 两个字符串 + 被翻译的值 + 盐值
        sign_str = "fanyideskweb" + self.word + salt + "]BjuETDhU)zqSxf-=B#7m"
        # 4: 将sign_str 用md5进行加密:
        md5 = hashlib.md5()
        md5.update(sign_str.encode())
        sign = md5.hexdigest()
        self.post_body = {
     
            "i": self.word,
            "from": "AUTO",
            "to": "AUTO",
            "smartresult": "dict",
            "client": "fanyideskweb",
            "salt": salt,
            "sign": sign,
            "ts": ts,
            "bv": "b286f0a34340b928819a6f64492585e8",
            "doctype": "json",
            "version": "2.1",
            "keyfrom": "fanyi.web",
            "action": "FY_BY_REALTlME"
        }

    def send_request(self):
        """发送请求的方法"""
        response = requests.post(self.url, headers=self.headers, data=self.post_body)
        return response.json()

    def parser_response(self, ret_dict):
        # 从字典中提取翻译结果
        # jsonpath:  $..src
        ret = ret_dict["translateResult"][0][0]["tgt"]
        print("翻译的文本:{} 翻译的结果:{}".format(self.word, ret))


    def run(self):
        """运行函数"""
        self.genrator_post_body()
        ret_dict = self.send_request()
        self.parser_response(ret_dict)

if __name__ == '__main__':
    spider = YoudaoSpider('妈妈')
    spider.run()

3:了解js代码转python代码:

import js2py

js_str = """
    function func(){
    list = [1, 2, 3, 4, 5, 6, 7, 8, 9];
    var sum = 0;
    for (var i=0; i
# 1:构建js环境
js = js2py.EvalJs()
# 2:执行js代码
js.execute(js_str)
# 3: 调用函数:
func_name = "func()"
js.execute("code = {}".format(func_name))
print(js.code)

你可能感兴趣的:(爬虫)