爬虫入门-爬取有道在线翻译结果(1)

参考小甲鱼的视频，爬取有道在线翻译结果

注意：原视频中的request url地址目前已被反爬虫，不过将地址中的_o删除后就可以实现爬虫（截至2018.4.2），查找网络，貌似是还未封闭的旧接口。

import urllib.request
import urllib.parse

content=input('请输入需要翻译的内容:')
url='http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule'
data={'i': content,
'from': 'AUTO',
'to': 'AUTO',
'smartresult': 'dict',
'client': 'fanyideskweb',
'salt': '1522597233542',
'sign': '520f9eb5cefff7d528e25e43a47bc2e7',
'doctype': 'json',
'version': '2.1',
'keyfrom': 'fanyi.web',
'action': 'FY_BY_CLICKBUTTION',
'typoResult': 'false'
}
data=urllib.parse.urlencode(data).encode('utf-8')#python本身字符串是unicode，需要转换为网页默认的utf-8
response=urllib.request.urlopen(url,data)
html=response.read().decode('utf-8')#实际上是个json结构，网页本身是utf-8，需要转换为python的unicode

#json的运用：轻量级数据交换
import json
target=json.loads(html)#转换成字典格式
print('翻译结果：%s' % target['translateResult'][0][0]['tgt'])

输入翻译的英文，即可爬取到对应的中文翻译。

知识点：json（待完善）

JSON(JavaScript Object Notation, JS 对象标记) 是一种轻量级的数据交换格式。它基于 ECMAScript (w3c制定的js规范)的一个子集，采用完全独立于编程语言的文本格式来存储和表示数据。简洁和清晰的层次结构使得 JSON 成为理想的数据交换语言。 易于人阅读和编写，同时也易于机器解析和生成，并有效地提升网络传输效率。