Python高性能HTTP客户端库requests的使用

Python中有许多HTTP客户端。使用最广泛且最容易的是requests。

持续连接

很多人学习python，不知道从何学起。
很多人学习python，掌握了基本语法过后，不知道在哪里寻找案例上手。
很多已经做案例的人，却不知道如何去学习更加高深的知识。
那么针对这三类人，我给大家提供一个好的学习平台，免费领取视频教程，电子书籍，以及课程的源代码！
QQ群：1097524789

持续连接是自HTTP 1.1以来的标准，尽管许多应用程序并未使用它们。以简单模式使用请求时(例如使用get函数)，连接会在返回时关闭，Session对象允许重用已经打开的连接。

import requests
session = requests.Session()
session.get("https://china-testing.github.io/")
# Connection is re-used
session.get("https://china-testing.github.io/")

每个连接都存储在连接池中(默认为10)

import requests
session = requests.Session()
adapter = requests.adapters.HTTPAdapter(
pool_connections=100,
pool_maxsize=100)
session.mount('http://', adapter)
response = session.get("http://example.org")

重用TCP连接有许多性能优势：

• 降低CPU和内存使用率(同时打开的连接较少)。

• 减少了后续请求中的延迟(无TCP握手)。

• 可以引发异常而不会关闭TCP连接。

HTTP协议还提供了流水线，流水线化允许在同一连接上发送多个请求，而无需等待答复(批处理)。不幸的是，请求库不支持此功能。但是，流水线请求可能不如并行发送它们那么快。实际上，HTTP 1.1协议强制以与发送请求相同的顺序发送答复-先进先出。

并行