Python爬虫入门：urllib.request.urlopen详解

urlopen简介

urlopen是urllib.request模块提供的最基本的构造HTTP请求的方法，可以模拟浏览器的一个请求发起过程，同时还支持授权验证（authentication）、重定向（redirection）、浏览器Cookies以及其他内容。
使用方法为urllib.request.urlopen(url, data=None, [timeout,]*, cafile=None, capath=None, cadefault=False,context=None)

基础用法urlopen()

我们只指定url一个参数，将默认使用GET方式对网站发起请求。

import urllib.request

response = urllib.request.urlopen('https://www.baidu.com')
print(response.read().decode('utf8'))

urlopen返回的response对象是http.client.HTTPResponse类型，主要包含read()、readinfo()、getheader(name)、getheaders()、fileno()等方法。

data参数

data参数是可选的，并且是字节流编码格式（可以用urllib.parse.urlencode()和bytes()方法将参数转化为字节流编码格式的内容）。如果要使用data参数，则请求方式为POST。

import urllib.parse
import urllib.request

data = bytes(urllib.parse.urlencode({'word': 'hello'}), encoding='utf8')
response = urllib.request.urlopen('http://httpbin.org/post', data=data)
print(response.read().decode('utf8'))

timeout参数

timeout参数用于设置超时，单位为秒，若不指定timeout，则使用全局默认时间。若请求超时，则会抛出urllib.error.URLError异常，可以通过try except处理异常。

import socket
import urllib.request
import urllib.error

try:
	response = urllib.request.urlopen('http://httpbin.org/get',timeout=0.1)
except urllib.error.URLError as e:
	if isinstance(e.reason, socket.timeout):
		print('TIME OUT')

其他参数

context参数必须是ssl.SSLContent类型，用来指定设置SSL。
cafile和capath分别指定CA证书和它的路径，在HTTPS中有用。
cadefault已经弃用，默认default。