杨强AT南京
杨强AT南京

PRO-003:反爬虫实践-签名验证

本主题，通过爬取一个翻译网站，实现一个在线翻译程序为例，来说明下怎么处理签名验证的反爬虫技术分析过程。

  1. 签名校验的一般套路；
  2. 通过百度分析签名的实现原理；
  3. 用Python爬取百度的翻译结果；

一、签名校验的一般套路

  面对互联网这么大个数据宝库，现在各种爬虫程序、爬虫框架遍地横行，各种IT江湖人士与非IT的各位寨主、帮主疯狂的爬取各自需要的数据。不过很多Web服务提供商也开始认识数据的价值，变免费为收费（百度，有道，金山三家在线翻译服务都开始收费了），也同时为了减轻服务器的负载、降低运营成本，Web服务供应商开始在技术上采取反爬虫机制。其中签名校验就是其中一种。
  Web的签名校验理论上都是可以破解的。签名校验的关键是生成一个签名字符串，该签名要么在服务生成，要么在浏览器客户端生成；
  1. 如果在服务器生成，需要客户端传递信息，在服务器生成后，发送给客户端，再由客服端发送给服务器校验，这种方式源头还是在客户端，理论上也是对所有用户开放的，也能找到客户传递的信息，并获取服务器发送的签名，从而破解。
  2. 如果是在客户端浏览器生成的，则基于Javascrip的脚本非变编译性，我们可以找到生成签名的Javascript代码，通过分析代码破解签名算法。

二、百度翻译的签名算法分析

1、使用浏览器开发工具分析百度翻译

   本主题使用Safari浏览器分析，其他浏览器基本上类似，有的没有开发工具，可以下载开发插件。
   Safari的开发菜单如果没有，需要在设置中开启：

PRO-003:反爬虫实践-签名验证_第1张图片
Safari浏览器开发菜单设置
   百度翻译的地址： https://fanyi.baidu.com

   （1）打开浏览器开发工具

    方式一：使用浏览器系统菜单

PRO-003:反爬虫实践-签名验证_第2张图片
打开浏览器开发工具方式一：使用浏览器系统菜单
     方式二：使用右键弹出菜单
PRO-003:反爬虫实践-签名验证_第3张图片
打开浏览器开发工具方式二：使用右键弹出菜单
   打开浏览器开发工具后，都是下面这个样子。
PRO-003:反爬虫实践-签名验证_第4张图片
红色区域就是开发工具视图
   其中 【网络】与 【资源】标签在浏览器下载数据分析中比较常用。
【网络】标签功能用来跟踪浏览器网络请求与服务器响应的过程比较有用。
【资源】主要用来分析浏览器下载后的资源数据，分析结果比较有用。

   （2）跟踪翻译时的浏览器行为

    在浏览器页面上输入需要翻译的数据，点击【网络】标签显示【网络】视图，在其中可以选择XHR查看浏览器发起的异步请求，异步请求都是通过Javascript代码实现：

PRO-003:反爬虫实践-签名验证_第5张图片
浏览器请求的【网络】功能视图
    在左侧列表中，就会显示很多浏览器发起的AJAX请求。选择其中一个操作以后，右边会显示请求的HTTP协议过程与下载的资源信息。
PRO-003:反爬虫实践-签名验证_第6张图片
跟踪AJAX请求的信息显示视图
     每个AJAX请求显示的信息，在数据分析中最有用的是 【预览】、 【标题】、 【Cookie】
     其中 【标题】中显示请求过程中相关信息包含：【摘要】【请求】【响应】与【请求数据】四个字段信息。

   （3）分析调用方式并分析数据

     从【摘要】字段中获取请求的URL：

请求的URL确认
     从【请求数据】字段中获取请求的数据包格式：
AJAX请求的数据包格式
    学习过爬虫开发的都应该看得出，构造AJAX请求包的核心难度是sign与token。只要明白sign与token生成算法，我们就可以按照算法实现sign与token的生成，并发起资源请求，爬取到我们需要的资源。要找到sign与token的生成算法，我们根据对这种web的开放签名的理解，应该在本地Javascript中实现，找到Javascript代码，分析代码，通过阅读代码来回逆算法。
    我们首先得找到实现sign与token算法的Javascript代码，这个过程麻烦而无趣，可以自己写程序下载资源慢慢使用文本编辑工具找（比如Sublime，UtralEdit，Eclipse，VisualStudio，XCode等），也可以在浏览器的开发工具中慢慢找。关键是找到方法，我这儿采用的方法就是：在自己觉得对眼的js脚本中搜索关键字 sign与 token。

   （4）找到签名的Javascript代码

    ►打开【JS】资源的视图：

PRO-003:反爬虫实践-签名验证_第7张图片
JS视图列出的JS资源

    ►逐个文件搜索：
    按照js文件搜索 sign与 token关键字（使用ctrl+f启动搜索视图）：
PRO-003:反爬虫实践-签名验证_第8张图片
找到实现sign与token算法的js脚本
  其中sign是由一个m函数产生，条件是我们需要翻译的字符串；token是直接调用浏览器的BOM对象的功能产生的token。m就是签名算法的实现函数。

2、分析Javascript代码

   （1）AJAX请求代码分析，找到m函数
define("translation:widget/translate/input/translate", function(t, a) {
    "use strict";
    var e = t("translation:widget/translate/input/prompt"),
        n = t("translation:widget/translate/input/textarea"),
        r = t("translation:widget/common/util"),
        s = t("translation:widget/translate/output/output"),
        o = t("translation:widget/common/config/trans"),
        i = t("translation:widget/translate/input/processlang"),
        l = t("translation:widget/common/string"),
        u = t("translation:widget/translate/input/soundicon"),
        g = t("translation:widget/translate/input/hash"),
        c = t("translation:widget/common/environment"),
        d = t("translation:widget/translate/input/longtext"),
        p = t("translation:widget/common/sendLog"),
        y = t("translation:widget/translate/details/dictionary/simplemeans"),
        f = t("translation:widget/translate/history/history"),
//========================================================================
        m = t("translation:widget/translate/input/pGrab"),
//========================================================================
        h = t("translation:widget/translate/details/adLink/adLink"),
        w = {
            onTrans: function(t) {
                y.translateStopRepeat() || y.shutdownAudio();
                var a = (n.getElem(), n.getVal()),
                    e = this,
                    s = t && t.transtype;
                if (r.isUrl(a))
                    return void this.translateWebPage(a);
                if (a.length > 0 && p.sendIndexDisplayLog({
                    action: "query"
                }), this.isQueryValid(a)) {
                    var o = a;
                    o.length > 50 && (o = l.cutByByte(o, 0, 50).replace(/[\uD800-\uDBFF]$/, ""));
                    var i = {
                        query: o
                    };
                    $.ajax({
                        url: "/langdetect",
                        type: "POST",
                        data: I,
                        success: function(t) {
                            0 === t.error && t.lan ? e.langIsDeteced(t.lan, a, s) : e.reponseQuery(a)
                        }
                    })
                }
            },
            isQueryValid: function(t) {
                return t ? !0 : !1
            },
            processQuery: function(t) {
                var a = t;
                if (l.getByte(t) > o.MAX_QUERY_COUNT) {
                    c.set("needLongtextTip", !0);
                    var e = t;
                    a = l.cutByByte(t, 0, o.MAX_QUERY_COUNT).replace(/[\uD800-\uDBFF]$/, ""), e = l.cutByByte(e, o.MAX_QUERY_COUNT, o.MAX_QUERY_COUNT + 9), d.showTip({
                        query: e
                    })
                }
                return a
            },
            langIsDeteced: function(t, a, n, r) {
                if (null !== t) {
                    var s = $(".select-from-language .language-selected").attr("data-lang"),
                        o = $(".select-to-language .language-selected").attr("data-lang"),
                        l = !1;
                    c.get("langChangedByUser") && t === o && (l = !0);
                    var g = null;
                    r && !c.get("fromLangIsAuto") && s !== t ? g = i.processOcrLang(t, s, o) : (e.show(t, s), g = i.getLang(t, s, o)), u.show();
                    var d = this,
                        a = this.processQuery(a),
//========================================================================
                        p = {
                            from: g.fromLang,
                            to: g.toLang,
                            query: a,
                            transtype: n,
                            simple_means_flag: 3,
                            sign: m(a),
                            token: window.common.token
                        };
//========================================================================
                    this.translateXHR && 4 !== this.translateXHR.readyState && this.translateXHR.abort(), this.translateXHR = $.ajax({
                        type: "POST",
                        url: "/v2transapi",
                        cache: !1,
                        data: p
                    }).done(function(t) {
                        c.set("isInRtTransState", !0), d.translateSuccess(t, g.fromLang, g.toLang, a, l)
                    })
                }
            },
            translateWebPage: function(t) {
                var a = "/";
                "https:" === location.protocol && (a = "http://fanyi.baidu.com/"), document.location.href = [a + "transpage?", "query=" + encodeURIComponent(t), "&source=url", "&ie=utf8", "&from=" + $(".select-from-language .language-selected").attr("data-lang"), "&to=" + $(".select-to-language .language-selected").attr("data-lang"), "&render=1"].join("")
            },
            textareaFocus: function() {
                n.focus()
            },
            translateSuccess: function(t, a, e, r, i) {
                return n.getVal() ? (r && encodeURIComponent(r).length < o.MAX_URL_COUNT && f.add(a, e, $.trim(r)), f.hideHistory(), h.hide(), s.checkResponse({
                    res: t,
                    from: a,
                    to: e,
                    query: r,
                    badCaseByForce: I
                }), void g.setHash({
                    query: r
                })) : void c.set("isInRtTransState", !1)
            },
            reponseQuery: function() {}
        };
    a.onTranslate = function(t) {
        w.onTrans(t)
    }, a.translateAfterOcr = function(t, a) {
        _hmt.push(["_trackEvent", "首页", "59_首页页面_翻译query量_图片"]), w.langIsDeteced(t, a, void 0, !0)
    }
});

  根据m的定义格式，可以使用其中的字符串搜索到m的定义。m的定义如下：

  m = t("translation:widget/translate/input/pGrab"),
   （2）找到m函数的原始定义

  我们就根据"translation:widget/translate/input/pGrab"找代码，找到的代码如下：

define("translation:widget/translate/input/pGrab", function(r, o, t) {
    "use strict";
    function a(r) {
        if (Array.isArray(r)) {
            for (var o = 0, t = Array(r.length); o < r.length; o++)
                t[o] = r[o];
            return t
        }
        return Array.from(r)
    }
    function n(r, o) {
        for (var t = 0; t < o.length - 2; t += 3) {
            var a = o.charAt(t + 2);
            a = a >= "a" ? a.charCodeAt(0) - 87 : Number(a), a = "+" === o.charAt(t + 1) ? r >>> a : r << a, r = "+" === o.charAt(t) ? r + a & 4294967295 : r ^ a
        }
        return r
    }
    function e(r) {
        var o = r.match(/[\uD800-\uDBFF][\uDC00-\uDFFF]/g);
        if (null === o) {
            var t = r.length;
            t > 30 && (r = "" + r.substr(0, 10) + r.substr(Math.floor(t / 2) - 5, 10) + r.substr(-10, 10))
        } else {
            for (var e = r.split(/[\uD800-\uDBFF][\uDC00-\uDFFF]/), C = 0, h = e.length, f = []; h > C; C++)
                "" !== e[C] && f.push.apply(f, a(e[C].split(""))), C !== h - 1 && f.push(o[C]);
            var g = f.length;
            g > 30 && (r = f.slice(0, 10).join("") + f.slice(Math.floor(g / 2) - 5, Math.floor(g / 2) + 5).join("") + f.slice(-10).join(""))
        }
        var u = void 0,
            l = "" + String.fromCharCode(103) + String.fromCharCode(116) + String.fromCharCode(107);
        u = null !== i ? i : (i = window[l] || "") || "";
        for (var d = u.split("."), m = Number(d[0]) || 0, s = Number(d[1]) || 0, S = [], c = 0, v = 0; v < r.length; v++) {
            var A = r.charCodeAt(v);
            128 > A ? S[c++] = A : (2048 > A ? S[c++] = A >> 6 | 192 : (55296 === (64512 & A) && v + 1 < r.length && 56320 === (64512 & r.charCodeAt(v + 1)) ? (A = 65536 + ((1023 & A) << 10) + (1023 & r.charCodeAt(++v)), S[c++] = A >> 18 | 240, S[c++] = A >> 12 & 63 | 128) : S[c++] = A >> 12 | 224, S[c++] = A >> 6 & 63 | 128), S[c++] = 63 & A | 128)
        }
        for (var p = m, F = "" + String.fromCharCode(43) + String.fromCharCode(45) + String.fromCharCode(97) + ("" + String.fromCharCode(94) + String.fromCharCode(43) + String.fromCharCode(54)), D = "" + String.fromCharCode(43) + String.fromCharCode(45) + String.fromCharCode(51) + ("" + String.fromCharCode(94) + String.fromCharCode(43) + String.fromCharCode(98)) + ("" + String.fromCharCode(43) + String.fromCharCode(45) + String.fromCharCode(102)), b = 0; b < S.length; b++)
            p += S[b], p = n(p, F);
        return p = n(p, D), p ^= s, 0 > p && (p = (2147483647 & p) + 2147483648), p %= 1e6, p.toString() + "." + (p ^ m)
    }
    var i = null;
    t.exports = e
});

  这个模块定义中有a，n，e三个函数定义，但最后有个语句，说明最终的签名算法函数是e：

     t.exports = e

  剩下的事情就是读懂e函数中的算法。e函数最后的return语句，最后一个语句的返回值与我们在浏览器看到的sign值格式类似。

p %= 1e6, p.toString() + "." + (p ^ m)

  下面是浏览器中的sign值格式：

请求数据
MIME 类型: application/x-www-form-urlencoded; charset=UTF-8
from: en
to: zh
query: perfect
transtype: realtime
simple_means_flag: 3
================================================
sign: 173319.411190
================================================
token: 5132afa657f678cc1ed6c0caf37fc2a2

3、百度签名算法的处理技巧

  遗憾的是，现在没有时间去详细移植这段算法到Python，计算移植后也没有多大意义，因为这个算法今后也会改变。但我们有了百度的Javascript代码，充分利用这个代码才是最牛的，程序员就用程序员的手段搞定，找一个Javascript运算引擎，在Python中直接执行Javascript代码，获取sign算法计算结果（想把这个算法搞明白的童鞋，我不拦你）。
  实际上很多语言的各种库中，基本上总有一款都能支持Javascript调用的，我知道的Java，C++，C#都是可以的，作为语言中的大杀器Python有支持Javascript运行的库是必然的：js2py模块就是。
  js2py的安装：

    >pip install js2py

  安装截图：
PRO-003:反爬虫实践-签名验证_第9张图片
js2py模块安装过程

三、使用Python实现爬取百度翻译的信息

1、js2py的使用

#coding=utf-8
import js2py
script=r'''
    a=20;
    f=function(param1,param2){
        return param1+param2
    }
'''
#构造JS执行上下文环境
ctx = js2py.EvalJs()
#加载脚本
ctx.execute(script)
#访问变量
print(ctx.a)    #20
#调用函数
print(ctx.f(45,55)) #100

2、使用requests获取window.common.token

  window.common.token的值实际是在主页中一段javascript代码定义的，可以通过请求http://fanyi.baidu.com/得到。由于主页得到的是一段HTML资源，所以获取window.common.token
使用正则表达式查找即可。下面是在主页中找到的token的定义：

PRO-003:反爬虫实践-签名验证_第10张图片
window.common.token的定义
  下面是获取token的实现代码： 

import requests
import re
#token识实在主页中加载
session = requests.Session()
response = session.get("http://fanyi.baidu.com/")
token = re.findall("token: ('.*'),",response.content.decode())[0]
print(token)

  我机器返回的是：'9b8bb341109338ba7e875bd9a9dd88ba'，其中需要解释下的是Python的正则表达式，"token: ('.*'),"就是返回token：与，之间的任意字符串，返回的是列表，我们使用取第一个。

3、在Python中调用百度js脚本得到签名

  百度签名函数中需要一个变量i，该变量主页的脚本中定义。下面是签名算法函数中有关的一段代码：

  var u = void 0,
//===========================================================
            l = "" + String.fromCharCode(103) + String.fromCharCode(116) + String.fromCharCode(107);
//===========================================================
        u = null !== i ? i : (i = window[l] || "") || "";
//===========================================================
        for (var d = u.split("."), m = Number(d[0]) || 0, s = Number(d[1]) || 0, S = [], c = 0, v = 0; v < r.length; v++) {
            var A = r.charCodeAt(v);
            128 > A ? S[c++] = A : (2048 > A ? S[c++] = A >> 6 | 192 : (55296 === (64512 & A) && v + 1 < r.length && 56320 === (64512 & r.charCodeAt(v + 1)) ? (A = 65536 + ((1023 & A) << 10) + (1023 & r.charCodeAt(++v)), S[c++] = A >> 18 | 240, S[c++] = A >> 12 & 63 | 128) : S[c++] = A >> 12 | 224, S[c++] = A >> 6 & 63 | 128), S[c++] = 63 & A | 128)
        }
        for (var p = m, F = "" + String.fromCharCode(43) + String.fromCharCode(45) + String.fromCharCode(97) + ("" + String.fromCharCode(94) + String.fromCharCode(43) + String.fromCharCode(54)), D = "" + String.fromCharCode(43) + String.fromCharCode(45) + String.fromCharCode(51) + ("" + String.fromCharCode(94) + String.fromCharCode(43) + String.fromCharCode(98)) + ("" + String.fromCharCode(43) + String.fromCharCode(45) + String.fromCharCode(102)), b = 0; b < S.length; b++)
            p += S[b], p = n(p, F);
        return p = n(p, D), p ^= s, 0 > p && (p = (2147483647 & p) + 2147483648), p %= 1e6, p.toString() + "." + (p ^ m)

  其中u获取的是window[l]，如果大家对l变量的ASCII码103，116，107翻译成字符就是gtk，所以u的值应该是window.gtk或者window [ gtk ]。

  我们在主页的javascript脚本中可以找到window.gtk的定义：
window.gtk的定义
  下面是百度翻译的签名生成的Python代码(其中的Javascript我们从浏览器拷贝)： 
#coding=utf-8
import js2py
import requests
import re
session = requests.Session()
response = session.get("http://fanyi.baidu.com/")
#获取window.gtk的值。
gtk = re.findall(";window.gtk = ('.*?');",response.content.decode())[0]
#要翻译的单词
word = 'perfect'
context = js2py.EvalJs()
#从浏览器拷贝的签名生成函数脚本（r-raw表示原生字符串）
js = r'''
function a(r) {
        if (Array.isArray(r)) {
            for (var o = 0, t = Array(r.length); o < r.length; o++)
                t[o] = r[o];
            return t
        }
        return Array.from(r)
    }
    function n(r, o) {
        for (var t = 0; t < o.length - 2; t += 3) {
            var a = o.charAt(t + 2);
            a = a >= "a" ? a.charCodeAt(0) - 87 : Number(a),
                a = "+" === o.charAt(t + 1) ? r >>> a : r << a,
                r = "+" === o.charAt(t) ? r + a & 4294967295 : r ^ a
        }
        return r
    }
    function e(r) {
        var o = r.match(/[\uD800-\uDBFF][\uDC00-\uDFFF]/g);
        if (null === o) {
            var t = r.length;
            t > 30 && (r = "" + r.substr(0, 10) + r.substr(Math.floor(t / 2) - 5, 10) + r.substr(-10, 10))
        } else {
            for (var e = r.split(/[\uD800-\uDBFF][\uDC00-\uDFFF]/), C = 0, h = e.length, f = []; h > C; C++)
                "" !== e[C] && f.push.apply(f, a(e[C].split(""))),
                C !== h - 1 && f.push(o[C]);
            var g = f.length;
            g > 30 && (r = f.slice(0, 10).join("") + f.slice(Math.floor(g / 2) - 5, Math.floor(g / 2) + 5).join("") + f.slice(-10).join(""))
        }
        var u = void 0
            , l = "" + String.fromCharCode(103) + String.fromCharCode(116) + String.fromCharCode(107);
        u ='null !== i ? i : (i = window[l] || "") || ""';
        for (var d = u.split("."), m = Number(d[0]) || 0, s = Number(d[1]) || 0, S = [], c = 0, v = 0; v < r.length; v++) {
            var A = r.charCodeAt(v);
            128 > A ? S[c++] = A : (2048 > A ? S[c++] = A >> 6 | 192 : (55296 === (64512 & A) && v + 1 < r.length && 56320 === (64512 & r.charCodeAt(v + 1)) ? (A = 65536 + ((1023 & A) << 10) + (1023 & r.charCodeAt(++v)),
                S[c++] = A >> 18 | 240,
                S[c++] = A >> 12 & 63 | 128) : S[c++] = A >> 12 | 224,
                S[c++] = A >> 6 & 63 | 128),
                S[c++] = 63 & A | 128)
        }
        for (var p = m, F = "" + String.fromCharCode(43) + String.fromCharCode(45) + String.fromCharCode(97) + ("" + String.fromCharCode(94) + String.fromCharCode(43) + String.fromCharCode(54)), D = "" + String.fromCharCode(43) + String.fromCharCode(45) + String.fromCharCode(51) + ("" + String.fromCharCode(94) + String.fromCharCode(43) + String.fromCharCode(98)) + ("" + String.fromCharCode(43) + String.fromCharCode(45) + String.fromCharCode(102)), b = 0; b < S.length; b++)
            p += S[b],
                p = n(p, F);
        return p = n(p, D),
            p ^= s,
        0 > p && (p = (2147483647 & p) + 2147483648),
            p %= 1e6,
        p.toString() + "." + (p ^ m)
    }
'''
#在javascript脚本中把u的值替换成window.gtk
js = js.replace('\'null !== i ? i : (i = window[l] || "") || ""\'',gtk)
#执行js
context.execute(js)
#调用函数得到sign
sign = context.e(word)
print(sign) #173319.411190

  下面是程序计算与浏览器中显示的出来的sign值比较：

程序计算的sing与浏览器器计算的sign完全一样
  到目前为止，完全解决了翻译的v2transapi调用的AJAX中token与sign的问题，剩下就是Python爬虫最基础的技术:HTTP请求→获取数据→解析数据→存储数据→$分析数据。
  百度翻译中提供三个请求功能：
  （ 1）. sug请求简单的翻译，是免费的，可以随意获取，没有采取反爬虫技术。
PRO-003:反爬虫实践-签名验证_第11张图片
免费的sug获取的翻译
  （ 2）. langdetect根据输入的字符，检测其语言。
  （ 3）. v2transapi提供功能更加强悍的翻译结果。包含下面图示中的使用箭头标示的四个翻译结果
PRO-003:反爬虫实践-签名验证_第12张图片
v2transapi获得翻译效果

4、使用v2transapi实现功能更强的翻译

  下面代码的实现原理：
  （1）首先使用get方法请求百度翻译的首页https://fanyi.baidu.com/，从中获取两个信息token，gtk,其中的关键在于我们使用了从浏览器产生的headers格式。
  （2）然后使用gtk产生sign，并使用token与sign，以及其他数据构造请求数据，发去爬取请求，获得我们需要的数据。
  数据的解析与分析，这里代码就不实现了。
  【代码如下】：

import requests
import re
import js2py
import json
class SignAndToken:
    def __init__(self):
        #加载主页
        self.session = requests.Session()
        self.headers={
            "Cookie":"Hm_lpvt_64ecd82404c51e03dc91cb9e8c025574=1541668433; Hm_lvt_64ecd82404c51e03dc91cb9e8c025574=1541430897,1541471052,1541641285,1541668433; from_lang_often=%5B%7B%22value%22%3A%22de%22%2C%22text%22%3A%22%u5FB7%u8BED%22%7D%2C%7B%22value%22%3A%22zh%22%2C%22text%22%3A%22%u4E2D%u6587%22%7D%2C%7B%22value%22%3A%22en%22%2C%22text%22%3A%22%u82F1%u8BED%22%7D%5D; to_lang_often=%5B%7B%22value%22%3A%22en%22%2C%22text%22%3A%22%u82F1%u8BED%22%7D%2C%7B%22value%22%3A%22zh%22%2C%22text%22%3A%22%u4E2D%u6587%22%7D%5D; FANYI_WORD_SWITCH=1; HISTORY_SWITCH=1; REALTIME_TRANS_SWITCH=1; SOUND_PREFER_SWITCH=1; SOUND_SPD_SWITCH=1; locale=zh; BDORZ=B490B5EBF6F3CD402E515D22BCDA1598; H_PS_PSSID=1430_21119_27401_26350_22158; PSINO=1; delPer=0; BDRCVFR[feWj1Vr5u3D]=I67x6TjHwwYf0; BDUSS=hsVWV6czh0a1hOQ3BaYkhTM0FrOXhNYnBCUWFsMlY0clhlYkNvTkRKdENDUGxiQUFBQUFBJCQAAAAAAAAAAAEAAAAFyMhmAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAEJ70VtCe9FbY0; BIDUPSID=C53590ACE23DAC88DBE0C3D65AEBAA30; PSTM=1539535646; BAIDUID=DB00283B42FBC875B67496A00F47ABAB:FG=1",
            "Accept":"text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8",
            "Upgrade-Insecure-Requests":"1",
            "Host":"fanyi.baidu.com",
            "User-Agent":"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/12.0.1 Safari/605.1.15",
            "Accept-Language":"zh-cn",
            "Accept-Encoding": "gzip, deflate"
        }
        self.session.headers = self.headers
        response = self.session.get("https://fanyi.baidu.com/")
        #获取token
        self.token = re.findall("token: ('.*'),",response.content.decode())[0]
        self.token=self.token[1:-1]
        print(self.token)
        #获取gtk
        # 获取window.gtk的值。
        self.gtk = re.findall(";window.gtk = ('.*?');", response.content.decode())[0]
        #初始化Javascript脚本执行上下文环境
        self.context = js2py.EvalJs()
    def sign(self,word):
        # 从浏览器拷贝的签名生成函数脚本（r-raw表示原生字符串）
        js = r'''
        function a(r) {
                if (Array.isArray(r)) {
                    for (var o = 0, t = Array(r.length); o < r.length; o++)
                        t[o] = r[o];
                    return t
                }
                return Array.from(r)
            }
            function n(r, o) {
                for (var t = 0; t < o.length - 2; t += 3) {
                    var a = o.charAt(t + 2);
                    a = a >= "a" ? a.charCodeAt(0) - 87 : Number(a),
                        a = "+" === o.charAt(t + 1) ? r >>> a : r << a,
                        r = "+" === o.charAt(t) ? r + a & 4294967295 : r ^ a
                }
                return r
            }
            function e(r) {
                var o = r.match(/[\uD800-\uDBFF][\uDC00-\uDFFF]/g);
                if (null === o) {
                    var t = r.length;
                    t > 30 && (r = "" + r.substr(0, 10) + r.substr(Math.floor(t / 2) - 5, 10) + r.substr(-10, 10))
                } else {
                    for (var e = r.split(/[\uD800-\uDBFF][\uDC00-\uDFFF]/), C = 0, h = e.length, f = []; h > C; C++)
                        "" !== e[C] && f.push.apply(f, a(e[C].split(""))),
                        C !== h - 1 && f.push(o[C]);
                    var g = f.length;
                    g > 30 && (r = f.slice(0, 10).join("") + f.slice(Math.floor(g / 2) - 5, Math.floor(g / 2) + 5).join("") + f.slice(-10).join(""))
                }
                var u = void 0
                    , l = "" + String.fromCharCode(103) + String.fromCharCode(116) + String.fromCharCode(107);
                u ='null !== i ? i : (i = window[l] || "") || ""';
                for (var d = u.split("."), m = Number(d[0]) || 0, s = Number(d[1]) || 0, S = [], c = 0, v = 0; v < r.length; v++) {
                    var A = r.charCodeAt(v);
                    128 > A ? S[c++] = A : (2048 > A ? S[c++] = A >> 6 | 192 : (55296 === (64512 & A) && v + 1 < r.length && 56320 === (64512 & r.charCodeAt(v + 1)) ? (A = 65536 + ((1023 & A) << 10) + (1023 & r.charCodeAt(++v)),
                        S[c++] = A >> 18 | 240,
                        S[c++] = A >> 12 & 63 | 128) : S[c++] = A >> 12 | 224,
                        S[c++] = A >> 6 & 63 | 128),
                        S[c++] = 63 & A | 128)
                }
                for (var p = m, F = "" + String.fromCharCode(43) + String.fromCharCode(45) + String.fromCharCode(97) + ("" + String.fromCharCode(94) + String.fromCharCode(43) + String.fromCharCode(54)), D = "" + String.fromCharCode(43) + String.fromCharCode(45) + String.fromCharCode(51) + ("" + String.fromCharCode(94) + String.fromCharCode(43) + String.fromCharCode(98)) + ("" + String.fromCharCode(43) + String.fromCharCode(45) + String.fromCharCode(102)), b = 0; b < S.length; b++)
                    p += S[b],
                        p = n(p, F);
                return p = n(p, D),
                    p ^= s,
                0 > p && (p = (2147483647 & p) + 2147483648),
                    p %= 1e6,
                p.toString() + "." + (p ^ m)
            }
        '''
        # 在javascript脚本中把u的值替换成window.gtk
        js = js.replace('\'null !== i ? i : (i = window[l] || "") || ""\'', self.gtk)
        # 执行js
        self.context.execute(js)
        # 调用函数得到sign
        return self.context.e(word)

class TranslateTool:
    def __init__(self):
        self.sign_token=SignAndToken()
        self.url="https://fanyi.baidu.com/v2transapi/"
        self.headers={
            "Content-Type": "application/x-www-form-urlencoded; charset=UTF-8",
            "Accept":"*/*",
            "Host":"fanyi.baidu.com",
            "Accept-Language":"zh-cn",
            "Accept-Encoding":"gzip, deflate",
            "Origin":"https://fanyi.baidu.com",
            "Referer":"https://fanyi.baidu.com/",
            "Connection":"keep-alive",
            "User-Agent":"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/12.0.1 Safari/605.1.15",
            "X-Requested-With": "XMLHttpRequest",
            "Cookie":"Hm_lpvt_64ecd82404c51e03dc91cb9e8c025574=1541696184; Hm_lvt_64ecd82404c51e03dc91cb9e8c025574=1541430897,1541471052,1541641285,1541668433; from_lang_often=%5B%7B%22value%22%3A%22de%22%2C%22text%22%3A%22%u5FB7%u8BED%22%7D%2C%7B%22value%22%3A%22zh%22%2C%22text%22%3A%22%u4E2D%u6587%22%7D%2C%7B%22value%22%3A%22en%22%2C%22text%22%3A%22%u82F1%u8BED%22%7D%5D; to_lang_often=%5B%7B%22value%22%3A%22en%22%2C%22text%22%3A%22%u82F1%u8BED%22%7D%2C%7B%22value%22%3A%22zh%22%2C%22text%22%3A%22%u4E2D%u6587%22%7D%5D; FANYI_WORD_SWITCH=1; HISTORY_SWITCH=1; REALTIME_TRANS_SWITCH=1; SOUND_PREFER_SWITCH=1; SOUND_SPD_SWITCH=1; BDORZ=B490B5EBF6F3CD402E515D22BCDA1598; H_PS_PSSID=1430_21119_27401_26350_22158; PSINO=1; delPer=0; locale=zh; BDRCVFR[feWj1Vr5u3D]=I67x6TjHwwYf0; BDUSS=hsVWV6czh0a1hOQ3BaYkhTM0FrOXhNYnBCUWFsMlY0clhlYkNvTkRKdENDUGxiQUFBQUFBJCQAAAAAAAAAAAEAAAAFyMhmAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAEJ70VtCe9FbY0; BIDUPSID=C53590ACE23DAC88DBE0C3D65AEBAA30; PSTM=1539535646; BAIDUID=DB00283B42FBC875B67496A00F47ABAB:FG=1"
        }
    def translate(self,word):
        token=self.sign_token.token
        sign=self.sign_token.sign(word)
        #构造请求数据
        data={
            'from': 'en',
            'to': 'zh',
            'query': word,
            'transtype': 'realtime',
            'simple_means_flag': 3,
            'sign': sign,
            'token': token
        }
        #response=requests.post(self.url,data=data,headers=self.headers)
        response=self.sign_token.session.post(self.url,data=data)
        return response.content

tool=TranslateTool()
re=json.loads(tool.translate("perfect").decode())
print(re)

  【运行结果】：


PRO-003:反爬虫实践-签名验证_第13张图片
爬取得输出结果（数据很大很大）

  下面是把数据粘贴到文本编辑工具sublime显示的效果：
爬取数据在sublime打开的结果
  这么多的数据，付点费用是应该，也是值得的。

5、使用langdetect侦测输入的语言类型

   langdetect的请求没有采用反爬虫技术，可以采用通用的http请求获取，这里就不提供实现代码：

MIME 类型: application/x-www-form-urlencoded; charset=UTF-8
kw: perfect

  补充一个langdetect的小例子：

#coding=utf-8
import requests
import re
import js2py
import json
# 构造请求数据
url="https://fanyi.baidu.com/langdetect"
data = {
    'query': '英雄'
}
response = requests.post(url, data=data)
print(response.content.decode())

  运行结果：
语言检测结果

6、使用sug实现简单翻译

   sug与langdetect的请求基本上一样，其请求也没有采用反爬虫技术，可以采用通用的http请求获取，这里就不提供实现代码：

MIME 类型: application/x-www-form-urlencoded; charset=UTF-8
kw: perfect

  补充一个sug的小例子：

#coding=utf-8
import requests
import re
import js2py
import json
# 构造请求数据
url="https://fanyi.baidu.com/sug"
data = {
    'kw': 'test'
}
response = requests.post(url, data=data)
content=response.content.decode()
data=json.loads(content)["data"]
for item in data:
    print(item['v'])

  运行结果：
PRO-003:反爬虫实践-签名验证_第14张图片
sug运行结果

资源

  1. 代码清单：
      |-测试javascript调用：callJavascript.py
      |-获取百度产生的token：gettoken_baidu.py
      |-完整翻译数据爬取：v2transapi.py
  2. 下载地址：
      |-https://github.com/QiangAI/PythonSkill/tree/master/baiduCrawler

你可能感兴趣的:(PRO-003:反爬虫实践-签名验证)

  • 请简单介绍一下Shiro框架是什么？Shiro在Java安全领域的主要作用是什么？Shiro主要提供了哪些安全功能？ AaronWang94 shirojavajava安全开发语言
    请简单介绍一下Shiro框架是什么？Shiro框架是一个强大且灵活的开源安全框架，为Java应用程序提供了全面的安全解决方案。它主要用于身份验证、授权、加密和会话管理等功能，可以轻松地集成到任何JavaWeb应用程序中，并提供了易于理解和使用的API，使开发人员能够快速实现安全特性。Shiro的核心组件包括Subject、SecurityManager和Realms。Subject代表了当前与应用
  • #D174-读书会作业-《财务自由之路》3 白洲笔记
    最近沉迷于写作营，一直就没时间去弄读书会的作业，书的第二遍也就看了个开头，趁着日更的时间，赶紧把作业做了，这次是15到21课。【1.印象最深刻的部分】(本周所读内容中印象最深刻的部分)*活在未来，最正确的方法是什么？用正确的方法做正确的事情，判断什么是正确的？逻辑。学会思考。"作对事情"永远比“把事情作对“重要的多。”长远思考，耐心验证，小心总结提炼“证明自己正确并不是学习的任务和目标，时刻成长，
  • 关于举办第十五届蓝桥杯全国软件和信息技术专业人才大赛项目实战赛的通知 QSNKJJSW 蓝桥杯职场和发展青少年编程无人机机器人科技人工智能
    各高等院校及相关单位：为贯彻落实《中国教育现代化2035》和《国务院关于印发新时期促进集成电路产业和软件产业高质量发展若干政策的通知》有关精神，为我国制造强国和网络强国战略提供人才支持，提高学生自主创新意识和工程实践能力，工业和信息化部人才交流中心决定举办第十五届蓝桥杯全国软件和信息技术专业人才大赛——项目实战赛。大赛连续四年入围中国高等教育学会“全国普通高校大学生竞赛排行榜”竞赛项目榜单。现将项
  • Golang标准库fmt深入解析与应用技巧 walkskyer golang标准库golangjava数据库
    Golang标准库fmt深入解析与应用技巧前言fmt包的基本使用打印与格式化输出函数Print系列函数格式化字符串格式化输入函数小结字符串格式化基本类型的格式化输出自定义类型的格式化输出控制格式化输出的宽度和精度小结错误处理与fmt使用fmt.Errorf生成错误信息fmt包与错误处理的最佳实践小结日志记录与fmtfmt包在日志记录中的应用结合log包使用fmt进行高级日志处理小结fmt与IOfm
  • Acrobat Pro DC ----专业PDF编辑与管理 *橙子 officepdfmacos
    AcrobatProDC2023是一款功能强大的PDF处理软件，它提供了丰富的编辑工具，支持创建、编辑、合并、分割PDF文件，以及高质量的PDF到其他格式的转换功能。同时，该软件集成了最新的OCR技术，可将扫描文档或图片转换成可编辑的PDF。AcrobatProDC2023还具备电子签名功能，支持多人协作和云端同步共享，大大提高了工作效率和团队协作效率。无论是设计、建筑、金融还是法律等行业，Acr
  • python清华大学出版社答案_Python机器学习及实践 weixin_39805119 python清华大学出版社答案
    第1章机器学习的基础知识1.1何谓机器学习1.1.1传感器和海量数据1.1.2机器学习的重要性1.1.3机器学习的表现1.1.4机器学习的主要任务1.1.5选择合适的算法1.1.6机器学习程序的步骤1.2综合分类1.3推荐系统和深度学习1.3.1推荐系统1.3.2深度学习1.4何为Python1.4.1使用Python软件的由来1.4.2为什么使用Python1.4.3Python设计定位1.4.
  • 2018-12-02 子分小
    姓名：张颖公司：菲尔德国际英语【反省总结第146天，始于20180709今天是20181202】【知～学习】六项精进大纲背诵3遍每天十个单词坚持第181天每天学习一篇英文文章第94天英语流利说课程第71天学习30分钟【行～实践】一、修身：（对自己个人）步行5000步二、齐家：（对家庭和家人）无三、建功：（对工作)完成与Arti活动课和两节Demo准备开班事宜｛积善｝：发愿从2018年7月9日起1年
  • 数据管理知识体系指南（第二版）-第五章——数据建模和设计-学习笔记 键盘上的五花肉 数据治理数据库数据仓库数据治理
    目录5.1引言5.1.1业务驱动因素5.1.2目标和原则5.1.3基本概念5.2活动5.2.1规划数据建模5.2.2建立数据模型5.2.3审核数据模型5.2.4维护数据模型5.3工具5.3.1数据建模工具5.3.2数据血缘工具5.3.3数据分析工具5.3.4元数据资料库5.3.5数据模型模式5.3.6行业数据模型5.4方法5.4.1命名约定的最佳实践5.4.2数据库设计中的最佳实践5.5数据建模和
  • 项目管理工具最佳实践 水岩
    各个公司的最佳实践去哪儿jira自定义使用1.jira编号对应git分支命名，后台增加监控程序，新增一个分支，自动解析分支中的jira编号，自动落地到数据库，完成映射2.各个发布系统间信息同步，消息中心（IC）+数据中心（DC）,广播消息加一站式查询，持续集成，推进代码检查质量，分钟级反馈质量检查反思：1.项目管好：针对一线研发人员，简单易用，而不是满足管理层的“统计度量”（...）简化分类字段，
  • 六项精进2018-11-24 倪力
    泰优汇六项精进第一组打卡记录倪力【日精进打卡第180天】一、学习与实践1.付出不亚于任何人的努力2.要谦虚，不要骄傲3.要每天反省4.活着，就要感谢5.积善行，思利他6.不要有感性的烦恼二、今日分享反省：要让思考成为一种习惯！
  • Django forms组件 在飞行-米龙 Djangodjangopython后端
    【一】引入【1】实现登陆验证功能（1）需求分析登陆验证需要前后端交互，采用form表单提交数据对数据进行校验用户名必须以英文大写字母开头密码必须大于三位数反馈给用户错误的信息除了反馈错误的信息还有保留原始输入内容（2）后端代码使用user_info_dict字典每次刷新存储存储前端发送的信息存储后端进行验证的信息defhome(request):#每次后刷新这个信息字典user_info_dict
  • 记录2022-05-15 果果圆
    计划坚持周更，去记录生活。上周计划：①坚持练字5天，每天至少20min；②学习新内容，通过实践回顾曾学知识；③做运动，5天。④每天背单词。完成度：①练字2/5；②学习进度还不错；③运动3/5；④单词6/7。加入了一个单词小组，队友和我每天都按时打卡的情况下，APP给出的当日奖励会更高，并且最终可以瓜分奖池（奖池指的不是money哦，是APP上的一种虚拟币），当然如果有人两次没打卡，整个队伍也会失去
  • Android 系统应用 pk8签名文件转jks或keystore教程 蜗牛、Z AOSPandroidFrameworkandroidaosp系统应用开发
    一、介绍签名文件对于我们在做应用开发中，经常遇到，且签名文件不仅仅是保护应用安全，还会涉及到应用与底层之间的数据共享和API文件等问题。在Android中，签名文件同样也存在这个问题。但是android中又区分系统应用和普通应用。系统应用可以通过android:sharedUserId="android.uid.system"同享系统uid，可以获取更高的权限。所以在做系统应用开发的时候，经常需要
  • Java面试题：解释JVM的内存结构，并描述堆、栈、方法区在内存结构中的角色和作用，Java中的多线程是如何实现的，Java垃圾回收机制的基本原理，并讨论常见的垃圾回收算法 杰哥在此 Java系列javajvm算法面试
    Java内存模型与多线程的深入探讨在Java的世界里，内存模型和多线程是开发者必须掌握的核心知识点。它们不仅关系到程序的性能和稳定性，还直接影响到系统的可扩展性和可靠性。下面，我将通过三个面试题，带领大家深入理解Java内存模型、多线程以及并发编程的相关原理和实践。面试题一：请解释JVM的内存结构，并描述堆、栈、方法区在内存结构中的角色和作用。关注点：JVM内存结构的基本组成堆、栈、方法区的功能和
  • RNA-seq数据分析_未完成 子诚之 组学数据分析数据分析
    目录基础分析1.质控（reads）2.比对3.质控（alignment）4.定量5.样本合并差异表达1.质控（cohort）2.差异分析3.可视化（差异）富集分析肿瘤免疫1.免疫组库2.免疫浸润3.免疫响应4.新抗原预测微生物组参考本文主要覆盖了肿瘤样本bulkRNA-seq数据常见的分析步骤，并从实践角度出发，较为具体地介绍了每一步骤依赖的工具和数据集。另外，尽管本文适用于肿瘤样本，但其中的一些
  • C#学习笔记 2301_79022588 学习笔记
    一、事件派发器在C#中，事件派发器通常是指事件委托和事件处理程序的组合，用于实现一种观察者设计模式。它允许对象在状态发生变化时通知其他对象，从而实现对象之间的解耦。事件派发器的基本组成部分：事件委托（EventDelegate）：事件委托是一种特殊的委托，用于封装可以被调用的方法。它定义了事件的签名，即指定了事件处理程序方法的参数和返回类型。通常，事件委托声明在事件派发器类的外部，并且使用dele
  • 4D习书——第三章 李晓廲
    这一章主要是介绍4D坐标的产生背景，介绍了4D系统分析领导力，并对其进行了验证。图片发自AppA正确的坐标系能把一个不可能解决的问题，变成两个可以解决的难题。M我的感觉是顿悟，我思考的是不可能的问题可以分开为几个能被解决的问题，就是分解，也就是各个击破。B对于我来说，定一个比较不易达到的目标，感觉实际实践起来应该很不容易，但是我可以分解成几个容易实现的目标。对孩子的学习辅导也是一样的，要培养孩子的
  • 2018-08-17 天黑黑_e3af
    姓名：王丽组别:第377期六项精进努力二组组员【日精进打卡第113天】【知－学习】背诵《大学》开篇5遍共100遍背诵《六项精进》大纲5遍共100遍【经典名句分享】如果，有醒不了的梦，我一定去做；如果，有走不完的路，我一定去走；如果，有变不了的爱，我一定去求。让懂的人懂，让不懂的人不懂；让世界是世界，我甘心是我的茧。【行－实践】一、修身：做事要一丝不苟的完成，今日事今日毕。二、齐家:与父母谈谈近况。
  • 农村养殖什么好养又赚钱？农村养殖好项目推荐 测评君高省
    在目前的农村，养殖业一直是风险比较高的，所以，在农村搞养殖，项目选择很重要。那么，现在的农村，养殖什么销路好、能赚钱呢？无论养殖什么，这可都不是简单的事情，都是一门门很深的学问。需要去不断地学习，去实践。虽然养殖业做的发财的也是不少，但多数人还是会亏本，其中的因素跟市场销路，养殖成本，病死率都走很大关系！所以选择养殖项目时还是需要慎重的！近几年看到很多从前的养殖业主都投身到电商的行业中，那电商到底
  • CDH 启停使用HiveServer2 金刚_30bf
    翻译：https://www.cloudera.com/documentation/enterprise/latest/topics/cdh_ig_hiveserver2_start_stop.html版本：5.14.2HiveServer2是HiveServer的改进版本，支持Kerberos身份验证和多客户端并发访问。您可以使用Beeline客户端访问HiveServer2。警告：如果以远程模
  • SWIFT环境配置及大模型微调实践 weixin_43870390 swift开发语言ios
    SWIFT环境配置及大模型微调实践SWIFT环境配置基础配置增量配置SWIFTQwen_audio_chat大模型微调实践问题1:问题2:问题定位解决方法手动安装pytorchSWIFT介绍参考：这里SWIFT环境配置基础配置condacreate-nswiftpython=3.8pipinstallms-swift[all]-U#下载项目gitclonehttps://github.com/mo
  • SWIFT介绍和学习(简单入门级别) weixin_43870390 swift学习开发语言
    SWIFT介绍和学习SWIFT功能介绍SWIFT快速使用LLM及LLM最佳实践（LLM系列文章）部署指南vllm非官方介绍资料项目地址：https://github.com/modelscope/swift任何有疑惑的地方，参考项目首页readme寻求答案SWIFT功能介绍SWIFT（可扩展的轻量级微调基础设施）是一个可扩展的框架，旨在促进轻量级模型的微调和推理。它通过采用参数高效、内存高效和时间
  • list分组，多线程处理数据入库 墨玉加菲 java后端javaspring
    需求：解析上传的文件，将文件里的数据放入到list后，验证数据，符合条件的数据入库，分组多线程处理数据，有异常回滚事务（这里使用的是手动事务）先贴代码，这是业务代码packagecom.sh.service.test.impl;importcom.baomidou.mybatisplus.extension.service.impl.ServiceImpl;importcom.sh.constan
  • 深度学习如何入门？ 科学的N次方 深度学习
    入门深度学习需要系统性的学习和实践经验积累，以下是一份详细的入门指南，包含了关键的学习步骤和资源：预备知识：•编程基础：熟悉Python编程语言，它是深度学习领域最常用的编程语言。确保掌握变量、条件语句、循环、函数等基本概念，并学习如何使用Python处理数据和文件操作。•数学基础：理解线性代数（矩阵运算、向量空间等）、微积分（导数、梯度求解等）、概率论与统计学（期望、方差、概率分布、最大似然估计
  • Java | 如何利用AI给编程提效 程序员影子 AI+编程实践java开发语言AI编程ai语言模型
    大家可以关注一下专栏，方便大家需要的时候直接查找，专栏将持续更新~大家好，我是程序员影子|全网同名一名致力于帮助更多朋友快速入门编程的程序猿一、引言AI已经频繁的出现在我们的生活中，那我们该如何更好的玩转AI+编程，提升自己的开发效率呢？本篇文章影子将为大家分享AI在编程开发中的提效，并以三大国产模型和Java语言作为例子，为大家带来实践分享。1.1AI编程助手的发展背景随着AI的快速发展，尤其是
  • vue时间组件：dayjs与moment 煸橙干儿~~ VUE实战vue.js前端javascript
    一、dayjs使用Day.js是一个极简的JavaScript库，可以为现代浏览器解析、验证、操作和显示日期和时间。具体使用可参考：dayjs官网1、本年start=dayjs().startOf('year').format('YYYY-MM-DD')end=dayjs().endOf('year').format('YYYY-MM-DD')console.log(start,end)//['2
  • 稻盛和夫“经营十二条实践”，第38天 46e4fb8aa306
    重视独创性：“独创”包含“个人独有的发明创造”、即“别人不愿意做”或“做不了”的事。这不仅意味着困难和高水平，还包括麻烦、又脏又善及看似赚不到钱的工作。“做其他人不肯做的工作”其实是一种思维方式。它是孙子的“不战而胜”“胜于易胜”的原则在实际生活中的应用。刻苦钻研，爱上工作：想必大家对自己喜欢的事时时刻刻都会放在心上，昼思夜想，乐此不疲吧？只要我们爱上工作，就会像爱上打高尔夫球一样，情不自禁地想方
  • 上海商标转让流程，商标转让需要什么资料？ 尚标知识产权
    商标可以转让嘛？回答是可以的。上海商标转让流程包括：申请→受理→审查→公告→核发转让证明。国家商标局自收到转让申请文件到发出转让受理通知书的时间为1—2个月；自收到转让受理通知书起4—6个月时间，国家商标局对提出转让的商标进行审核；审核通过后刊登核准公告并发出《核准转让注册商标证明》。个人注册商标转让需提供的材料：1、商标注册证复印件；2、注册人身份证复印件签名2份；3、受让方主体资格复印件（受让
  • 分布式应用下登录检验解决方案 敲键盘的小夜猫 分布式java
    优缺点JWT是一个开放标准，它定义了一种用于简洁，自包含的用于通信双方之间以JSON对象的形式安全传递信息的方法。可以使用HMAC算法或者是RSA的公钥密钥对进行签名。说白了就是通过一定规范来生成token，然后可以通过解密算法逆向解密token，这样就可以获取用户信息。生产的token可以包含基本信息，比如id、用户昵称、头像等信息，避免再次查库，可以存储在客户端，不占用服务端的内存资源，在前后
  • 2018年5月1日 朱非凡
    姓名：朱非凡公司：杭州美登贸易上海361期《六项精进》反省二组【日精进打卡第43天】【知～学习】《六项精进》3遍共139遍《大学》1遍共59遍••••••【经典名句分享】自律给我自由【行～实践】一、修身：阅读书籍学习shopify推广方法二、齐家：三、建功：1.网站结构思路2.产品供应商查找3.付款方式设置4.上传产品｛积善｝：发愿从2018年3月19日起1年内365善事。今日1善，累计40善。【
  • 怎么样才能成为专业的程序员？ cocos2d-x小菜 编程PHP
      如何要想成为一名专业的程序员？仅仅会写代码是不够的。从团队合作去解决问题到版本控制，你还得具备其他关键技能的工具包。当我们询问相关的专业开发人员，那些必备的关键技能都是什么的时候，下面是我们了解到的情况。   关于如何学习代码，各种声音很多，然后很多人就被误导为成为专业开发人员懂得一门编程语言就够了？！呵呵，就像其他工作一样，光会一个技能那是远远不够的。如果你想要成为
  • java web开发 高并发处理 BreakingBad javaWeb并发开发处理高
    java处理高并发高负载类网站中数据库的设计方法（java教程,java处理大量数据，java高负载数据） 一：高并发高负载类网站关注点之数据库 没错,首先是数据库,这是大多数应用所面临的首个SPOF。尤其是Web2.0的应用，数据库的响应是首先要解决的。 一般来说MySQL是最常用的，可能最初是一个mysql主机，当数据增加到100万以上，那么，MySQL的效能急剧下降。常用的优化措施是M-S（
  • mysql批量更新 ekian mysql
    mysql更新优化： 一版的更新的话都是采用update set的方式，但是如果需要批量更新的话，只能for循环的执行更新。或者采用executeBatch的方式，执行更新。无论哪种方式，性能都不见得多好。 三千多条的更新，需要3分多钟。 查询了批量更新的优化，有说replace into的方式，即： replace into tableName(id,status) values
  • 微软BI（3） 18289753290 微软BI SSIS
    1) Q：该列违反了完整性约束错误；已获得 OLE DB 记录。源:“Microsoft SQL Server Native Client 11.0” Hresult: 0x80004005 说明:“不能将值 NULL 插入列 'FZCHID'，表 'JRB_EnterpriseCredit.dbo.QYFZCH'；列不允许有 Null 值。INSERT 失败。”。 A：一般这类问题的存在是
  • Java中的List g21121 java
            List是一个有序的 collection（也称为序列）。此接口的用户可以对列表中每个元素的插入位置进行精确地控制。用户可以根据元素的整数索引（在列表中的位置）访问元素，并搜索列表中的元素。         与 set 不同，列表通常允许重复
  • 读书笔记 永夜-极光 读书笔记
       1.  K是一家加工厂,需要采购原材料,有A,B,C,D 4家供应商,其中A给出的价格最低,性价比最高,那么假如你是这家企业的采购经理,你会如何决策?          传统决策: A:100%订单  B,C,D:0%     &nbs
  • centos 安装 Codeblocks 随便小屋 codeblocks
    1.安装gcc,需要c和c++两部分,默认安装下,CentOS不安装编译器的,在终端输入以下命令即可yum install gccyum install gcc-c++   2.安装gtk2-devel,因为默认已经安装了正式产品需要的支持库,但是没有安装开发所需要的文档.yum install gtk2* 3. 安装wxGTK    yum search w
  • 23种设计模式的形象比喻 aijuans 设计模式
    1、ABSTRACT FACTORY—追MM少不了请吃饭了，麦当劳的鸡翅和肯德基的鸡翅都是MM爱吃的东西，虽然口味有所不同，但不管你带MM去麦当劳或肯德基，只管向服务员说“来四个鸡翅”就行了。麦当劳和肯德基就是生产鸡翅的Factory 　　工厂模式：客户类和工厂类分开。消费者任何时候需要某种产品，只需向工厂请求即可。消费者无须修改就可以接纳新产品。缺点是当产品修改时，工厂类也要做相应的修改。如：
  • 开发管理 CheckLists aoyouzi 开发管理 CheckLists
    开发管理 CheckLists(23) -使项目组度过完整的生命周期 开发管理 CheckLists(22) -组织项目资源 开发管理 CheckLists(21) -控制项目的范围开发管理 CheckLists(20) -项目利益相关者责任开发管理 CheckLists(19) -选择合适的团队成员开发管理 CheckLists(18) -敏捷开发 Scrum Master 工作开发管理 C
  • js实现切换 百合不是茶 JavaScript栏目切换
    js主要功能之一就是实现页面的特效,窗体的切换可以减少页面的大小,被门户网站大量应用思路: 1,先将要显示的设置为display:bisible 否则设为none 2,设置栏目的id ,js获取栏目的id,如果id为Null就设置为显示 3,判断js获取的id名字;再设置是否显示   代码实现:   html代码: <di
  • 周鸿祎在360新员工入职培训上的讲话 bijian1013 感悟项目管理人生职场
            这篇文章也是最近偶尔看到的，考虑到原博客发布者可能将其删除等原因，也更方便个人查找，特将原文拷贝再发布的。“学东西是为自己的，不要整天以混的姿态来跟公司博弈，就算是混，我觉得你要是能在混的时间里，收获一些别的有利于人生发展的东西，也是不错的，看你怎么把握了”，看了之后，对这句话记忆犹新。  &
  • 前端Web开发的页面效果 Bill_chen htmlWebMicrosoft
    1.IE6下png图片的透明显示： <img src="图片地址" border="0" style="Filter.Alpha(Opacity)=数值(100),style=数值(3)"/> 或在<head></head>间加一段JS代码让透明png图片正常显示。 2.<li>标
  • 【JVM五】老年代垃圾回收：并发标记清理GC(CMS GC) bit1129 垃圾回收
      CMS概述 并发标记清理垃圾回收(Concurrent Mark and Sweep GC）算法的主要目标是在GC过程中，减少暂停用户线程的次数以及在不得不暂停用户线程的请夸功能，尽可能短的暂停用户线程的时间。这对于交互式应用，比如web应用来说，是非常重要的。   CMS垃圾回收针对新生代和老年代采用不同的策略。相比同吞吐量垃圾回收，它要复杂的多。吞吐量垃圾回收在执
  • Struts2技术总结 白糖_ struts2
      必备jar文件 早在struts2.0.*的时候，struts2的必备jar包需要如下几个： commons-logging-*.jar   Apache旗下commons项目的log日志包 freemarker-*.jar          
  • Jquery easyui layout应用注意事项 bozch jquery浏览器easyuilayout
    在jquery easyui中提供了easyui-layout布局，他的布局比较局限，类似java中GUI的border布局。下面对其使用注意事项作简要介绍：      如果在现有的工程中前台界面均应用了jquery easyui，那么在布局的时候最好应用jquery eaysui的layout布局，否则在表单页面（编辑、查看、添加等等）在不同的浏览器会出
  • java-拷贝特殊链表：有一个特殊的链表，其中每个节点不但有指向下一个节点的指针pNext，还有一个指向链表中任意节点的指针pRand，如何拷贝这个特殊链表？ bylijinnan java
    public class CopySpecialLinkedList { /** * 题目：有一个特殊的链表，其中每个节点不但有指向下一个节点的指针pNext，还有一个指向链表中任意节点的指针pRand，如何拷贝这个特殊链表？ 拷贝pNext指针非常容易，所以题目的难点是如何拷贝pRand指针。 假设原来链表为A1 -> A2 ->... -> An，新拷贝
  • color Chen.H JavaScripthtmlcss
    <!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN"  "http://www.w3.org/TR/html4/loose.dtd">    <HTML>    <HEAD>&nbs
  • [信息与战争]移动通讯与网络 comsci 网络
          两个坚持:手机的电池必须可以取下来                光纤不能够入户,只能够到楼宇       建议大家找这本书看看:<&
  • oracle flashback query(闪回查询) daizj oracleflashback queryflashback table
    在Oracle 10g中，Flash back家族分为以下成员： Flashback Database Flashback Drop Flashback Table Flashback Query(分Flashback Query,Flashback Version Query，Flashback Transaction Query) 下面介绍一下Flashback Drop 和Flas
  • zeus持久层DAO单元测试 deng520159 单元测试
    zeus代码测试正紧张进行中,但由于工作比较忙,但速度比较慢.现在已经完成读写分离单元测试了,现在把几种情况单元测试的例子发出来,希望有人能进出意见,让它走下去. 本文是zeus的dao单元测试: 1.单元测试直接上代码   package com.dengliang.zeus.webdemo.test; import org.junit.Test; import o
  • C语言学习三printf函数和scanf函数学习 dcj3sjt126com cprintfscanflanguage
    printf函数 /* 2013年3月10日20:42:32 地点：北京潘家园 功能： 目的： 测试%x %X %#x %#X的用法 */ # include <stdio.h> int main(void) { printf("哈哈！\n"); // \n表示换行 int i = 10; printf
  • 那你为什么小时候不好好读书? dcj3sjt126com life
    dady, 我今天捡到了十块钱, 不过我还给那个人了 good girl! 那个人有没有和你讲thank you啊 没有啦....他拉我的耳朵我才把钱还给他的, 他哪里会和我讲thank you   爸爸, 如果地上有一张5块一张10块你拿哪一张呢.... 当然是拿十块的咯... 爸爸你很笨的, 你不会两张都拿   爸爸为什么上个月那个人来跟你讨钱, 你告诉他没
  • iptables开放端口 Fanyucai linuxiptables端口
    1，找到配置文件 vi /etc/sysconfig/iptables   2，添加端口开放，增加一行，开放18081端口 -A INPUT -m state --state NEW -m tcp -p tcp --dport 18081 -j ACCEPT   3，保存 ESC :wq!   4，重启服务 service iptables
  • Ehcache（05）——缓存的查询 234390216 排序ehcache统计query
    缓存的查询 目录 1.    使Cache可查询 1.1     基于Xml配置 1.2     基于代码的配置 2     指定可搜索的属性 2.1     可查询属性类型 2.2 &
  • 通过hashset找到数组中重复的元素 jackyrong hashset
      如何在hashset中快速找到重复的元素呢?方法很多，下面是其中一个办法： int[] array = {1,1,2,3,4,5,6,7,8,8}; Set<Integer> set = new HashSet<Integer>(); for(int i = 0
  • 使用ajax和window.history.pushState无刷新改变页面内容和地址栏URL lanrikey history
    后退时关闭当前页面 <script type="text/javascript"> jQuery(document).ready(function ($) {         if (window.history && window.history.pushState) {
  • 应用程序的通信成本 netkiller.github.com 虚拟机应用服务器陈景峰netkillerneo
    应用程序的通信成本 什么是通信 一个程序中两个以上功能相互传递信号或数据叫做通信。 什么是成本 这是是指时间成本与空间成本。 时间就是传递数据所花费的时间。空间是指传递过程耗费容量大小。 都有哪些通信方式 全局变量 线程间通信 共享内存 共享文件 管道 Socket 硬件（串口，USB） 等等 全局变量 全局变量是成本最低通信方法，通过设置
  • 一维数组与二维数组的声明与定义 恋洁e生 二维数组一维数组定义声明初始化
    /**  *  */ package test20111005; /**  * @author FlyingFire  * @date:2011-11-18 上午04:33:36  * @author ：代码整理  * @introduce :一维数组与二维数组的初始化  *summary：  */ public c
  • Spring Mybatis独立事务配置 toknowme mybatis
    在项目中有很多地方会使用到独立事务，下面以获取主键为例   （1）修改配置文件spring-mybatis.xml  <!-- 开启事务支持 -->  <tx:annotation-driven transaction-manager="transactionManager" />   &n
  • 更新Anadroid SDK Tooks之后，Eclipse提示No update were found xp9802 eclipse
    使用Android SDK Manager 更新了Anadroid SDK Tooks 之后， 打开eclipse提示 This Android SDK requires Android Developer Toolkit version 23.0.0 or above, 点击Check for Updates  检测一会后提示 No update were found 
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他