爬取的数据:
步骤:
1.找出URL请求格式以及参数
2.模拟URL请求
浏览器F12之后输入关键字并抓取ajax请求,如下图
结果: 输入good关键字,一共进行了4次post请求,携带参数分别是g,go,goo,good 我们可以得知 最后一次请求是我们需要的
代码如下:
# coding=utf-8
import requests
url = "https://fanyi.baidu.com/sug"
if __name__ == '__main__':
print("请输入查询的字词?")
kw=input()
data = {
"kw": kw
}
#伪装浏览器请求
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36"
}
response = requests.post(url, data=data, headers=headers)
print(response.json())
{
'errno': 0, 'data': [{
'k': 'good', 'v': 'adj. 好的; 优秀的; 有益的; 漂亮的,健全的 n. 好处,利益; 善良; 善行; 好人 ad'}, {
'k': 'Good', 'v': '[人名] [英格兰人姓氏] 古德绰号,来源于中世纪英语,含义是“好”(good); [人名] [英格'}, {
'k': 'GOOD', 'v': 'abbr. graph-oriented object database 面向图形的目标数据库'}, {
'k': 'Good.', 'v': '很好。'}, {
'k': 'Goode', 'v': '[人名] [英格兰人姓氏] 古德 Good的变体; [地名] [美国] 古德'}]}