9.每天进步一点点---Python-Requests HTTP 请求库

文章目录

  • 1.Requests 库介绍
  • 2.Requests HTTP 基本请求
  • 3.Requests 请求常用设置
  • 4.Requests 处理返回结果

Python 自带的 urllib 网络请求库基本可满足我们的需要,但是在实际开发过程中使用 起来还是有些烦琐,表现在以下几个方面

  • 发送 GET 和 POST 请求。
  • Cookie 处理。
  • 设置代理。

urllib 默认不支持压缩,要返回压缩格式,必须在请求头里写明 accept- encoding,然后在获取返回数据时,它以响应头里是否有 accept-encoding 来判断是否需要解码。当然也可 以对 urllib 进行一些常用的封装,以规避此类问题。而更多时候,我们会选择使用 Requests 库来模拟请求。

1.Requests 库介绍

Requests 库基于 urllib 库,是采用 Apache2 Licensed 开源协议的 HTTP 库,更加简单且 功能强大。该库支持如下功能。

  • International Domains and URLs:国际化域名和 URL。
  • Keep-Alive & Connection Pooling:Keep-Alive & 连接池。
  • Sessions with Cookie Persistence:带持久 Cookie 的会话。
  • Browser-style SSL Verification:浏览器式的 SSL 认证。
  • Basic/Digest Authentication:基本/摘要式的身份认证。
  • Elegant Key/Value Cookies:简洁的 Key/Value Cookie。
  • Automatic Decompression:自动解压。
  • Automatic Content Decoding:自动内容解码。
  • Unicode Response Bodies:Unicode 响应体。
  • Multipart File Uploads:文件分块上传。
  • HTTP(S) Proxy Support:HTTP(S)代理支持。
  • Connection Timeouts:连接超时。
  • Streaming Downloads:流下载。
  • .netrc Support:支持.netrc。
  • Chunked Requests:Chunked 请求。

其官方仓库为

[官方文档为](http://www.python-requests. org/en/master/)

直接通过 pip 安装库即可

pip install requests
  1. window电脑点击win键+R,输入:cmd

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-a5CBbZGu-1670765565287)(9.每天进步一点点—Python-Requests HTTP 请求库.assets/image-20221124184205449.png)]

2.安装requests,pip 命令安装 ,我们使用豆瓣的镜像源来安装

pip install requests -i http://pypi.douban.com/simple --trusted-host pypi.douban.com

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-GEdc34Qh-1670765565289)(Python爬虫image/image-20221211211133611.png)]

2.Requests HTTP 基本请求

Requests 支持各种请求方式:GET、POST、PUT、DELETE、HEAD、OPTION。使用 代码示例如下

r1 = requests.get("http://xxx", params={"x": 1, "y": 2})
r2 = requests.post("http://xxx", data={"x": 1, "y": 2})
r3 = requests.put("http://xxx")
r4 = requests.delete("http://xxx")
r5 = requests.head("http://xxx")
r6 = requests.options("http://xxx")

注意事项:

  • URL 链接里有中文时会自动转码
  • 使用 post 时,如果传递的是一个 str 而不是一个 dict,则会直接发送出去(如 JSON 字符串)
  • 使用 post 时,如果传递的是一个 str 而不是一个 dict,则会直接发送出去(如 JSON 字符串).
  • post 可以通过 file 参数上传文件,如 post(url, files={‘file’: open(‘report.xls’, ‘rb’)})

3.Requests 请求常用设置

Requests 请求的相关设置如下:

设置请求头:headers={'xxx':'yyy'}
代理:proxies={'https':'xxx'}
超时(单位秒):timeout=15

4.Requests 处理返回结果

Requests 请求会返回一个 requests.models.Response 对象,可以通过调用表中的字段获取响应信息。

字段 描述
status_code 获取状态码
reason 状态信息
url 获取请求的 URL
content 获取 byte 类型的返回结果,相当于 urllib.urlopen().read
raw 获得原始的返回结果,请求里需要设置 stream=True
text 获取 str 类型的返回结果,会自动根据响应头部的字符编码进行解码;
可以调用 r.encoding 获得编码方式,或者在调用 text 之前先用
r.encoding='编码’来设置编码类型,text 就会按照对应的编码进行解析
json 解析序列化为 JSON 格式的数据,可以直接通过[‘xxx’]获取数据。
如果解析错误,则会抛出异常:ValueError: No JSON object could be decoded

除此之外,还可以使用 headers 获得响应头,代码示例如

r = requests.get('http://gank.io/api/data/Android/50/1')
# 直接根据键获得值
print(r.headers.get('Date'))
# 遍历获得请求头里所有键值
for key, value in r.headers.items():
 print(key + " : " + value)

如 果 想 获 取 请 求 头 信 息 , 可 以 调 用r.request.headers。 除 此 之 外 , 还 可 调 用 raise_for_status(),当响应码不是 200 时,会抛出 HTTPError 异常,可用于响应码校验。另 外,由 Requests 发起的请求,当相应内容经过 gzip deflate 压缩时,Requests 会自动解包, 可以通过 content 获得 byte 方式的响应结果。
请接着看下一博客笔记

你可能感兴趣的:(#,Python爬虫学习笔记,python,Requests请求常用设置,Requests处理返回结果,Python,requests)