反反爬入门——JS混淆之百度翻译！这个爬虫教程有点东西！

一、分析百度翻译网页，获取明显易得的参数

以定位到URL为前提

先作对比,找出不同的参数

从之前的请求响应中找数据

(1)网页源代码中查找

(2)全局请求搜索

可以观察到，我们输入中文时回车或者点击翻译按钮又或是不管的时候，这是会有一个结果响应，即对应的英文单词。

在XHR中我们看到了有加载的数据，我们试着在这里面找东西。

PS：如有需要Python学习资料的小伙伴可以加点击下方链接自行获取

python免费学习资料以及群交流解答点击即可加入

我们看到有个英文单词叫做transapi，这个就是有关翻译的接口了，确切来说是请求的URL。

且在这里我们看到有我们想要查询的英语单词。

对比form表单：

query

是自己输入的中文词

sign是动态加载的

token 可以从访问https://fanyi.baidu.com得到的静态页面中获取

二、js代码中获取sign值

Crt+~ 搜索框中找token看到其中有以下参数在一行中显示

点击进入之后点击左下角的{}格式化：

这边有两处，一个是自定义的函数，另一个不是，一般都是函数类的传值，如果实在不确定则两个都打上断点，刷新页面，步入函数。

复制完代码之后进行调试，补充完整此JS代码。

导入库：

import execjs

import requests

下面展示一些调试js的代码。

代码如下（示例）：

mport execjs

def js_complie():

    with open("bd.js","r")as f:

        js1 = f.read()

    return execjs.compile(js1)

js1 = js_complie()

print(js1.call("e","中国"))

结果：

加入var i=null；

其中还有个关于window

在源码中打断点调试，之后找到gtk

然后直接将window[l]换为gtk，即：

最后我的是对象问题，有的是n未定义，这个我是请教的同学，自己可以直接百度，这里的n一个函数，然后在源码中加入这个函数即可。

然后直接加入这个函数到源码Js中，然后整个JS就弄好了，下面是改好的。

代码如下（示例）：

function n(r, o) {

        for (var t = 0; t < o.length - 2; t += 3) {

            var a = o.charAt(t + 2);

            a = a >= "a" ? a.charCodeAt(0) - 87 : Number(a),

            a = "+" === o.charAt(t + 1) ? r >>> a : r << a,

            r = "+" === o.charAt(t) ? r + a & 4294967295 : r ^ a

        }

        return r

    }

function e(r,gtk) {

        var i = null;

        var o = r.match(/[\uD800-\uDBFF][\uDC00-\uDFFF]/g);

        if (null === o) {

            var t = r.length;

            t > 30 && (r = "" + r.substr(0, 10) + r.substr(Math.floor(t / 2) - 5, 10) + r.substr(-10, 10))

        } else {

            for (var e = r.split(/[\uD800-\uDBFF][\uDC00-\uDFFF]/), C = 0, h = e.length, f = []; h > C; C++)

                "" !== e[C] && f.push.apply(f, a(e[C].split(""))),

                C !== h - 1 && f.push(o[C]);

            var g = f.length;

            g > 30 && (r = f.slice(0, 10).join("") + f.slice(Math.floor(g / 2) - 5, Math.floor(g / 2) + 5).join("") + f.slice(-10).join(""))

        }

        var u = void 0

          , l = "" + String.fromCharCode(103) + String.fromCharCode(116) + String.fromCharCode(107);

        u = null !== i ? i : (i = gtk || "") || "";

        for (var d = u.split("."), m = Number(d[0]) || 0, s = Number(d[1]) || 0, S = [], c = 0, v = 0; v < r.length; v++) {

            var A = r.charCodeAt(v);

            128 > A ? S[c++] = A : (2048 > A ? S[c++] = A >> 6 | 192 : (55296 === (64512 & A) && v + 1 < r.length && 56320 === (64512 & r.charCodeAt(v + 1)) ? (A = 65536 + ((1023 & A) << 10) + (1023 & r.charCodeAt(++v)),

            S[c++] = A >> 18 | 240,

            S[c++] = A >> 12 & 63 | 128) : S[c++] = A >> 12 | 224,

            S[c++] = A >> 6 & 63 | 128),

            S[c++] = 63 & A | 128)

        }

        for (var p = m, F = "" + String.fromCharCode(43) + String.fromCharCode(45) + String.fromCharCode(97) + ("" + String.fromCharCode(94) + String.fromCharCode(43) + String.fromCharCode(54)), D = "" + String.fromCharCode(43) + String.fromCharCode(45) + String.fromCharCode(51) + ("" + String.fromCharCode(94) + String.fromCharCode(43) + String.fromCharCode(98)) + ("" + String.fromCharCode(43) + String.fromCharCode(45) + String.fromCharCode(102)), b = 0; b < S.length; b++)

            p += S[b],

            p = n(p, F);

        return p = n(p, D),

        p ^= s,

        0 > p && (p = (2147483647 & p) + 2147483648),

        p %= 1e6,

        p.toString() + "." + (p ^ m)

    }

关于sign的值，也就是函数输出结果：

三、结合以上完成的python脚本：

代码如下（示例）：

# from: zh

# to: en

# query: 中国

# transtype: enter

# simple_means_flag: 3

# sign: 777849.998728

# token: 9f8eb7eca82fbc1bb8169f524574d536

# domain: common

#

# from: zh

# to: en

# query: 复兴

# transtype: realtime

# simple_means_flag: 3

# sign: 694133.947268

# token: 9f8eb7eca82fbc1bb8169f524574d536

# domain: common

import execjs

import requests

import re

headers = {

    'origin': 'https://fanyi.baidu.com',

    'pragma': 'no-cache',

    'referer': 'https://fanyi.baidu.com/',

    'sec-fetch-mode': 'cors',

    'sec-fetch-site': 'same-origin',

    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36',

    'x-requested-with': 'XMLHttpRequest',

}

session = requests.Session()

session.headers = headers

def js_complie():

    with open("baidu.js","r")as f:

        js1 = f.read()

    return execjs.compile(js1)

js1 = js_complie()

print(js1.call("e","中国"))

    # ,"320305.131321201"

def get_token():

    url = "https://fanyi.baidu.com/"

    for i in range(3):

        respone  = session.get(url)

        token = re.findall("token: '(.*?)'",respone.text)[0]

        gtk = re.findall("window.gtk = '(.*?)'",respone.text)[0]

        print("[%s]token:"%i,token)

        print("[%s]gtk:"%i,gtk)

    return token,gtk

def translate(query,sign,token):

    form_data={

    'from': 'zh',

    'to': 'en',

    'query': query,

    'simple_means_flag': '3',

    'sign': sign,

    'token':token ,

    'domain': 'common',

    }

    url =  "https://fanyi.baidu.com/v2transapi?from=zh&to=en"

    res = session.post(url,data=form_data)

    result = re.findall('"dst":"(.*?)"',res.text)[0]

    print(result)

    return result

if __name__ == '__main__':

    query = input("输入要翻译的中文:")

    token, gtk = get_token()

    js1 = js_complie()

    sign = js1.call("e", query, gtk)

    rest = translate(query,sign,token)

    print("需要翻译的中文是:%s，翻译结果:%s"%(query,rest))

代码结果：

总结

适合入门，代码也较容易理解。