Python爬虫：百度翻译接口获取翻译结果
分析百度翻译接口，使用python获取翻译结果
目标：获取百度翻译结果
工具：chrome/firefox浏览器、pychram、python3.7
模块：requests、re、execjs
开始分析：
首先在翻译页面左边输入字符串，会自动检测语言并将翻译结果显示在右边，这个过程页面并没有刷新，所以分析应该是ajax请求了接口获取的结果，直接筛选XHR，发现最后一个请求就是翻译结果接口；
既然接口找到了，接下来就是分析看传递了哪些参数，一共八个参数：
from: zh
to: en
query: 你好
transtype: realtime
simple_means_flag: 3
sign: 232427.485594
token: c156c49e36c6a5d8625e1919bf915c6e
domain:common
参数from、to：多次尝试后发现分别是原文语言和翻译语言的简称；
参数query：翻译原文；
参数transtype：应该是翻译类型，多次尝试发现有两种结果realtime和translang；
参数simple_means_flag：固定值；
参数sign：应该是js生成的；
参数token：应该也是一段js生成的字符串；
参数domain：固定值。
参数初步分析完成，固定值不用改，现在只需要知道sign和token是怎样生成的就行。
通过搜索sign，发现这个index_4029c2d.js文件中sign调用函数y(n)传入了一个n
打个断点调试看看，发现这个n其实就是需要翻译的原文
继续往下调试，发现函数y其实就是这个函数e，通过函数e、函数n加密后得到sign，ok，接下来将代码复制出来测试，经过js调试发现这段代码报错
浏览器调试看了下，i 就是window全局对象gtk ， u=gtk
再次搜索gtk，找到gtk对比前面浏览器调试u的值，发现果然一模一样，这个值就是翻译页面加载出来的，直接请求这个页面正则匹配就能获得gtk，那么也就解决了获取gtk问题
将js代码变量u直接赋值为这个值放到js调试，看是否和浏览器得到的结果一样。
通过对比，发现一模一样，至此sign参数搞定，利用这段js代码就可以生成sign
接下来分析token参数，刚刚搜索sign其实已经知道（不清楚的回到上面搜索sign那里看看），token参数是从window全局对象common中获取的，通过搜索发现，token其实和gtk是在同一个页面，那么一样使用正则匹配就能拿到
通过再次对比，确认sign和token参数获取方式都没错，参数分析完成，开始写代码
逻辑梳理：
请求翻译页 => 获取gtk、token => 生成sign => 请求翻译接口 => 解析得到翻译结果
代码：
import requests
import re
import execjs
from requests.packages.urllib3.exceptions import InsecureRequestWarning
# 关闭ssl验证错误提醒
requests.packages.urllib3.disable_warnings(InsecureRequestWarning)
class FanYi:
def __init__(self, keyword):
self.keyword = keyword
self.url = ['https://fanyi.baidu.com/?aldtype=16047',
'https://fanyi.baidu.com/v2transapi?']
self.session = requests.session()
self.headers = {
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 '
'(KHTML, like Gecko) Chrome/86.0.4240.111 Safari/537.36',
'referer': 'https://fanyi.baidu.com/?aldtype=16047',
'origin': 'https://fanyi.baidu.com',
}
def key_parameter(self):
headers = {
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 '
'(KHTML, like Gecko) Chrome/86.0.4240.111 Safari/537.36'
}
response = self.session.get(self.url[0], headers=headers, verify=False).content.decode()
# 获取页面中的token/gtk
token = re.findall("token: '(.*?)',", response)[0]
gtk = re.findall("window.gtk = '(.*?)';", response)[0]
# 读取js
with open('baidu.js', 'r') as f:
js = f.read()
# 生成js对象
exec_obj = execjs.compile(js)
# 调用js中的e函数并传入参数生成sign
sign = exec_obj.call("e", self.keyword, gtk)
return token, sign
def form_data(self, token, sign):
data = {
'from': 'zh',
'to': 'en',
'query': self.keyword,
'transtype': 'realtime',
'simple_means_flag': 3,
'sign': sign,
'token': token,
'domain': 'common'
}
return data
def run(self):
# 调用两次key_parameter函数以保证token为最新的，否则请求不到数据
self.key_parameter()
token, sign = self.key_parameter()
form_data = self.form_data(token, sign)
data = self.session.post(self.url[1], headers=self.headers, data=form_data, verify=False).json()
result = data['trans_result']['data'][0]['dst']
print('翻译结果:', result)
if __name__ == '__main__':
word = input('请输入原文: ')
fy = FanYi(word)
fy.run()
大功告成，运行后可以成功获取到翻译结果。
遇到的问题：之前运行后一直不行，发现是token问题，获取两次token，使用第二次的token就行了，可能是百度的反爬？另外貌似还是有个问题，会偶尔请求失败，需要重新运行，目前原因不明，百度反爬措施还是挺多的。。。
总结：总之完成了翻译结果获取，其中的重点就是sign参数的获取，需要层层分析，打断点调试、抠js代码（js我还是比较菜。。。）分析完后这篇文章也最终干货满满。另外js代码就不放出来了，直接按我上面的方法就能找到js代码直接复制到一个文件中就行，把代码中的 u（这个值其实固定死也行，貌似浏览器上面也是固定的）赋值一下就行。