爬虫 之 requests

request

import requests

requests.get() 获取网页的主要方法

requests.post() 向HTML网页提交POST请求的方法

requests.head() 获取HTML网页头的方法

request.patch() 向网页提交局部修改请求

请求头

headers = { ‘User-Agent’: ‘Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36’ }

respone数据处理

request后会返回response对象

response=request.get(url)

response对象数据处理

response.status_code ：获取response的状态码

1xx：请求收到 2xx：请求成功 3xx：应使用代理访问

4xx：禁止访问 5xx：服务端错误

response.content ：把response对象转为二进制数据

response.text：把response对象转换为字符串数据

response.encoding：定义response对象的编码

如果得到的text出现乱码，则需要encoding=“utf-8”