【Web Crawler】Python 的 urllib.request 用于 HTTP 请求

如果您需要使用 Python 发出 HTTP 请求，那么您可能会发现自己被引导至 brilliantrequests库。尽管它是一个很棒的库，但您可能已经注意到它并不是 Python 的内置部分。如果您出于某种原因更喜欢限制依赖项并坚持使用标准库 Python，那么您可以使用urllib.request!

在本教程中，您将：

• 了解如何发出基本的HTTP 请求urllib.request

• 深入了解HTTP 消息的具体细节及其urllib.request表示方式

• 了解如何处理HTTP 消息的字符编码

• 探索使用时的一些常见错误urllib.request并学习如何解决它们

• 将您的脚趾浸入经过身份验证的请求的世界urllib.request

• 理解为什么两者urllib和requests库都存在以及何时使用其中一个或另一个

如果您听说过 HTTP 请求，包括GET和POST，那么您可能已经准备好学习本教程了。此外，您应该已经使用 Python读取和写入文件，最好使用上下文管理器，至少一次。

最终，您会发现提出请求不一定是令人沮丧的经历，尽管它确实有这样的名声。您经常遇到的许多问题都是由于 Internet 这个奇妙事物的内在复杂性造成的。好消息是该urllib.request模块可以帮助揭开这种复杂性的神秘面纱。

了解更多信息： 单击此处与 290,000 多名 Python 开发人员一起阅读 Real Python Newsletter ，获取新的 Python 教程和新闻，让您成为更高效的 Pythonista。

基本 HTTP GET 请求urllib.request

在深入了解什么是 HTTP 请求及其工作原理之前，您需要通过向示例 URL发出基本的 GET 请求来了解一下。您还将向模拟REST API发出 GET 请求以获取某些JSON数据。如果您想了解 POST 请求，一旦您对urllib.request.

Beware：根据您的具体设置，您可能会发现其中一些示例不起作用。如果是这样，请跳到有关常见 urllib.request 错误 的部分以进行故障排除。如果您遇到此处未涵盖的问题，请务必在下面使用精确且可重现的示例进行评论。

首先，您将向 发出请求www.example.com，服务器将返回一条 HTTP 消息。确保您使用的是 Python 3 或更高版本，然后使用urlopen()函数 from urllib.request：

from urllib.request import urlopen
with urlopen("https://www.example.com") as response:
    body = response.read()

body[:15]

b''

在此示例中，您urlopen()从urllib.request. 使用上下文管理器 with，您可以发出请求并接收响应urlopen()。然后您读取响应的主体并关闭响应对象。这样，您就可以显示正文的前十五个位置，并指出它看起来像一个 HTML 文档。

你在这！您已成功发出请求，并收到了回复。通过检查内容，您可以判断它很可能是一个 HTML 文档。请注意，正文的打印输出前面有b。这表示一个bytes literal，您可能需要对其进行解码。在本教程的后面，您将学习如何将字节转换为字符串、将它们写入文件或将它们解析为字典。

如果您要调用 REST API 以获取 JSON 数据，则该过程仅略有不同。在下面的示例中，您将向{JSON}Placeholder请求一些虚假的待办事项数据：

from urllib.request import urlopen
import json
url = "https://jsonplaceholder.typicode.com/todos/1"
with urlopen(url) as response:
    body = response.read()

todo_item = json.loads(body)
todo_item

{'userId': 1, 'id': 1, 'title': 'delectus aut autem', 'completed': False}

在此示例中，您所做的与上一个示例中的操作几乎相同。但在这一个中，您导入urllib.request and json，使用json.loads()函数 withbody将返回的 JSON 字节解码和解析为Python 字典。瞧！

如果您足够幸运能够使用无错误的端点，例如这些示例中的端点，那么也许以上就是您需要的全部urllib.request。话又说回来，您可能会发现这还不够。

现在，在进行一些urllib.request故障排除之前，您将首先了解 HTTP 消息的底层结构并了解如何urllib.request处理它们。这种理解将为解决许多不同类型的问题提供坚实的基础。

HTTP 消息的具体细节

要了解您在使用 时可能遇到的一些问题，您urllib.request需要检查响应是如何由 表示的urllib.request。为此，您将受益于对HTTP 消息是什么的高级概述，这就是您将在本节中获得的内容。

在进行高级概述之前，先简要说明一下参考来源。如果您想深入了解技术领域，互联网工程任务组 (IETF)有大量的征求意见 (RFC)文档。这些文档最终成为 HTTP 消息之类的实际规范。例如， RFC 7230，第 1 部分：消息语法和路由都是关于 HTTP 消息的。

如果您正在寻找比 RFC 更容易理解的参考资料，那么Mozilla 开发者网络 (MDN)有大量参考文章。例如，他们关于HTTP 消息的文章虽然仍然是技术性的，但更容易理解。

现在您已经了解了这些基本的参考信息来源，在下一节中您将对 HTTP 消息有一个初学者友好的概述。

了解什么是 HTTP 消息

简而言之，HTTP 消息可以理解为文本，以字节流的形式传输，其结构遵循 RFC 7230 指定的准则。解码后的 HTTP 消息可以像两行一样简单：

GET / HTTP/1.1
Host: www.google.com

这使用协议在根 ( )指定GET请求。唯一需要的标头是主机，. 目标服务器有足够的信息来使用此信息做出响应。/HTTP/1.1www.google.com

响应在结构上类似于请求。HTTP 消息有两个主要部分，元数据和正文。在上面的请求示例中，消息是没有正文的所有元数据。另一方面，响应确实有两个部分：

HTTP/1.1 200 OK
Content-Type: text/html; charset=ISO-8859-1
Server: gws
(... other headers ...)

响应以指定 HTTP 协议和状态的状态行开始。在状态行之后，你会得到许多键值对，例如，代表所有的响应头。这是响应的元数据。HTTP/1.1200 OKServer: gws

在元数据之后，有一个空行，用作标题和正文之间的分隔符。空行之后的所有内容构成主体。这是您在使用urllib.request.

注意：空行在技术上通常称为 换行符 。HTTP 消息中的换行符必须是 Windows 样式的 回车符 ( \r ) 和 行尾 符( \n )。在 类 Unix 系统上，换行符通常只是一个行尾 ( \n )。

您可以假定所有 HTTP 消息都遵循这些规范，但有些消息可能会违反这些规则或遵循旧规范。不过，这很少会引起任何问题。因此，请将其牢记在心，以防遇到奇怪的错误！

在下一节中，您将了解如何urllib.request处理原始 HTTP 消息。

了解如何urllib.request表示 HTTP 消息

使用时您将与之交互的 HTTP 消息的主要表示urllib.request是HTTPResponse对象。urllib.request模块本身依赖于低级http模块，您不需要直接与之交互。不过，您确实最终会使用一些提供的数据结构http，例如HTTPResponse和HTTPMessage。

注意：在 Python 中表示 HTTP 响应和消息的对象的内部命名可能有点混乱。您通常只与 的实例进行交互HTTPResponse ，而请求端则在内部处理。
您可能认为这HTTPMessage 是一种HTTPResponse 继承自的基类，但事实并非如此。HTTPResponse 直接继承自io.BufferedIOBase ，而HTTPMessage 类继承自 email.message.EmailMessage 。
在源代码中将其EmailMessage 定义为包含一堆标头和有效负载的对象，因此它不一定是电子邮件。HTTPResponse 仅用HTTPMessage 作其标头的容器。
但是，如果您谈论的是 HTTP 本身而不是它的 Python 实现，那么您将 HTTP 响应视为一种 HTTP 消息是正确的。

当您使用 发出请求时urllib.request.urlopen()，您会得到一个HTTPResponse对象作为回报。花一些时间探索HTTPResponse对象pprint()并dir()查看属于它的所有不同方法和属性：

from urllib.request import urlopen
from pprint import pprint
with urlopen("https://www.example.com") as response:
    pprint(dir(response))

要显示此代码片段的输出，请单击以展开下面的可折叠部分：

['__abstractmethods__',
 '__class__',
 '__del__',
 '__delattr__',
 '__dict__',
 '__dir__',
 '__doc__',
 '__enter__',
 '__eq__',
 '__exit__',
 '__format__',
 '__ge__',
 '__getattribute__',
 '__gt__',
 '__hash__',
 '__init__',
 '__init_subclass__',
 '__iter__',
 '__le__',
 '__lt__',
 '__module__',
 '__ne__',
 '__new__',
 '__next__',
 '__reduce__',
 '__reduce_ex__',
 '__repr__',
 '__setattr__',
 '__sizeof__',
 '__str__',
 '__subclasshook__',
 '_abc_impl',
 '_checkClosed',
 '_checkReadable',
 '_checkSeekable',
 '_checkWritable',
 '_check_close',
 '_close_conn',
 '_get_chunk_left',
 '_method',
 '_peek_chunked',
 '_read1_chunked',
 '_read_and_discard_trailer',
 '_read_next_chunk_size',
 '_read_status',
 '_readall_chunked',
 '_readinto_chunked',
 '_safe_read',
 '_safe_readinto',
 'begin',
 'chunk_left',
 'chunked',
 'close',
 'closed',
 'code',
 'debuglevel',
 'detach',
 'fileno',
 'flush',
 'fp',
 'getcode',
 'getheader',
 'getheaders',
 'geturl',
 'headers',
 'info',
 'isatty',
 'isclosed',
 'length',
 'msg',
 'peek',
 'read',
 'read1',
 'readable',
 'readinto',
 'readinto1',
 'readline',
 'readlines',
 'reason',
 'seek',
 'seekable',
 'status',
 'tell',
 'truncate',
 'url',
 'version',
 'will_close',
 'writable',
 'write',
 'writelines']

这是很多方法和属性，但您最终只会使用其中的一小部分。除此之外.read()，重要的通常涉及获取有关标头的信息。

检查所有标头的一种方法是访问对象的.headers属性HTTPResponse。这将返回一个HTTPMessage对象。方便地，您可以HTTPMessage通过调用.items()它来将所有标头作为元组来对待它，就像字典一样：

with urlopen("https://www.example.com") as response:
    pass

response.headers

pprint(response.headers.items())

[('Accept-Ranges', 'bytes'), 
('Age', '398424'), 
('Cache-Control', 'max-age=604800'),
('Content-Type', 'text/html; charset=UTF-8'), 
('Date', 'Tue, 25 Jan 2022 12:18:53 GMT'), 
('Etag', '"3147526947"'),
('Expires', 'Tue, 01 Feb 2022 12:18:53 GMT'), 
('Last-Modified', 'Thu, 17 Oct 2019 07:18:26 GMT'), 
('Server', 'ECS (nyb/1D16)'), ('Vary', 'Accept-Encoding'), 
('X-Cache', 'HIT'), 
('Content-Length', '1256'), 
('Connection', 'close')]

现在您可以访问所有响应标头了！您可能不需要这些信息中的大部分，但请放心，某些应用程序确实会用到它。例如，您的浏览器可能会使用标头来读取响应、设置 cookie 并确定适当的缓存生存期。

有一些方便的方法可以从HTTPResponse对象中获取标头，因为这是很常见的操作。您可以.getheaders()直接调用该HTTPResponse对象，它将返回与上面完全相同的元组列表。如果您只对一个标题感兴趣，比如Server标题，那么您可以使用单数.getheader("Server")onHTTPResponse或使用方括号 ( []) 语法 on .headersfrom HTTPMessage：

>>> response.getheader("Server")
'ECS (nyb/1D16)'
>>> response.headers["Server"]
'ECS (nyb/1D16)'

说实话，您可能不需要像这样直接与标题进行交互。您最可能需要的信息可能已经有一些内置的辅助方法，但现在您知道了，以防您需要更深入地挖掘！

关闭一个HTTPResponse

该对象与文件对象HTTPResponse有很多共同之处。类继承自类，文件对象也是如此，这意味着您必须注意打开和关闭。HTTPResponseIOBase

在简单的程序中，如果您忘记关闭HTTPResponse对象，您不太可能注意到任何问题。但是，对于更复杂的项目，这会显着降低执行速度并导致难以查明的错误。

出现问题是因为输入/输出(I/O) 流是有限的。每个都HTTPResponse需要在读取时保持流清晰。如果您从不关闭您的流，这最终将阻止任何其他流被打开，并且它可能会干扰其他程序甚至您的操作系统。

所以，一定要关闭你的HTTPResponse对象！为方便起见，您可以使用上下文管理器，如您在示例中所见。您还可以通过显式调用.close()响应对象来获得相同的结果：

from urllib.request import urlopen
response = urlopen("https://www.example.com")
body = response.read()
response.close()

在此示例中，您不使用上下文管理器，而是显式关闭响应流。不过，上面的示例仍然存在问题，因为在调用 之前可能会引发异常.close()，从而阻止正确的拆解。为了使这个调用成为无条件的，就像它应该的那样，你可以使用带有一个和一个子句的try…except块：elsefinally

from urllib.request import urlopen
response = None
try:
    response = urlopen("https://www.example.com")
except Exception as ex:
    print(ex)
else:
    body = response.read()
finally:
    if response is not None:
        response.close()

.close()在此示例中，您通过使用块实现了对 的无条件调用，finally无论是否引发异常，该块都将始终运行。块中的代码finally首先检查response对象是否存在is not None，然后将其关闭。

也就是说，这正是 aa 上下文管理器所做的，并且with语法通常是首选的。语法不仅with更简洁、更易读，而且还可以保护您免受讨厌的遗漏错误。换句话说，它可以更好地防止意外忘记关闭对象：

from urllib.request import urlopen
with urlopen("https://www.example.com") as response:
    response.read(50)
    response.read(50)

b'\n\n\n    
\n\n    \n    

urlopen()在此示例中，您从urllib.request模块导入。您使用with关键字 with.urlopen()将HTTPResponse对象分配给变量response。然后，您读取响应的前五十个字节，然后读取后面的五十个字节，所有这些都在with块内。最后，您关闭with块，它执行请求并运行其块内的代码行。

使用此代码，您可以显示两组，每组 50 个字节。HTTPResponse一旦退出块范围，该对象将关闭with，这意味着该.read()方法将只返回空字节对象：

import urllib.request
with urllib.request.urlopen("https://www.example.com") as response:
    response.read(50)

b'\n\n\n