利用requests模块爬取百度翻译

话不多说,直接上代码,不懂得可以参考一下我发的上一篇文章。本次推荐大家使用火狐浏览器,因为我用了2345 和 win10自带的浏览器,运行成功后爬取不到东西。

import requests
import json
if __name__ == '__main__':
    #1. 指定url
    post_url = 'https://fanyi.baidu.com/sug'
    #2. UA伪装
    headers = {
        'User Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3947.100 Safari/537.36'
    }
    #3. 发送请求
    word = input('enter a word:')
    data = {
        'kw':word
    }
    response = requests.post(url=post_url,data=data,headers=headers)
    #4. 获取数据:json返回的是obj(如果确认响应数据是json类型的,才可以使用json())
    dic_obj = response.json()
    #5. 永久化存储
    fileName = word + '.json'
    a= open(fileName,'w',encoding='utf-8')
    json.dump(dic_obj,fp=a,ensure_ascii=False)#中文,所以json不能使用Ascii
    print('保存成功')

运行结果如下:

运行之后得到的文件是json文件,是因为接收的数据类型是json类型,可以在网页上查找

打开文件内容如下,比如说爬取love的结果

你可能感兴趣的:(python爬虫)