Python爬虫入门:urllib.request.urlopen详解

Python爬虫入门:urllib.request.urlopen详解

  • urlopen简介
    • 基础用法urlopen()
    • data参数
    • timeout参数
    • 其他参数

urlopen简介

urlopen是urllib.request模块提供的最基本的构造HTTP请求的方法,可以模拟浏览器的一个请求发起过程,同时还支持授权验证(authentication)、重定向(redirection)、浏览器Cookies以及其他内容。
使用方法为urllib.request.urlopen(url, data=None, [timeout,]*, cafile=None, capath=None, cadefault=False,context=None)

基础用法urlopen()

我们只指定url一个参数,将默认使用GET方式对网站发起请求。

import urllib.request

response = urllib.request.urlopen('https://www.baidu.com')
print(response.read().decode('utf8'))

urlopen返回的response对象是http.client.HTTPResponse类型,主要包含read()、readinfo()、getheader(name)、getheaders()、fileno()等方法。

data参数

data参数是可选的,并且是字节流编码格式(可以用urllib.parse.urlencode()和bytes()方法将参数转化为字节流编码格式的内容)。如果要使用data参数,则请求方式为POST。

import urllib.parse
import urllib.request

data = bytes(urllib.parse.urlencode({'word': 'hello'}), encoding='utf8')
response = urllib.request.urlopen('http://httpbin.org/post', data=data)
print(response.read().decode('utf8'))

timeout参数

timeout参数用于设置超时,单位为秒,若不指定timeout,则使用全局默认时间。若请求超时,则会抛出urllib.error.URLError异常,可以通过try except处理异常。

import socket
import urllib.request
import urllib.error

try:
	response = urllib.request.urlopen('http://httpbin.org/get',timeout=0.1)
except urllib.error.URLError as e:
	if isinstance(e.reason, socket.timeout):
		print('TIME OUT')

其他参数

context参数必须是ssl.SSLContent类型,用来指定设置SSL。
cafile和capath分别指定CA证书和它的路径,在HTTPS中有用。
cadefault已经弃用,默认default。

你可能感兴趣的:(学习笔记)