Urllib库的使用
1.安装 pip install urllib
2.发出请求
2.1urlopen()
urllib.request 模块提供了最基本的构造HTTP请求的方法,利用它可以模拟浏览器的请求发起过程,并获Resonse,下面以python官网为例,发出请求并urlopen获取响应。输出结果则是该网站首页的源代码,类型为HTTPResponse对象,还可以通过调用status属性等获取状态码以及其他信息
import urllib.request
response = urllib.request.urlopen('https://www.python.org')
print(response.read().decode('utf-8'))
print(response.status)
print(response.getheaders())
data参数,data 参数是可选的,如果要添加 data,它要是字节流编码格式的内容,即 bytes 类型,通过 bytes() 方法可以进行转化,另外如果传递了这个 data 参数,它的请求方式就不再是 GET 方式请求,而是 POST。
import urllib.parse
import urllib.request
data = bytes(urllib.parse.urlencode({'word': 'hello'}), encoding='utf8')
response = urllib.request.urlopen('http://httpbin.org/post', data=data, timeout=1)
print(response.read())
这里传递了一个参数word,值为hello。它需要被转码成bytes(字节流)类型。其中转字节流采用了 bytes() 方法,第一个参数需要是 str(字符串)类型,需要用 urllib.parse 模块里的 urlencode() 方法来将参数字典转化为字符串。第二个参数指定编码格式,在这里指定为 utf8。
timeout 参数可以设置超时时间,单位为秒,意思就是如果请求超出了设置的这个时间还没有得到响应,就会抛出异常,如果不指定,就会使用全局默认时间。它支持 HTTP、HTTPS、FTP 请求。
2.2Request
上述论述中我们直接使用urlopen()实现最基本的请求,但如果需要构建更复杂的请求则需要更强大的Request类,我们可以通过Request构建一个复杂的请求,再通过urlopen()完成请求与获取响应。
class urllib.request.Request(url, data=None, headers={}, origin_req_host=None, unverifiable=False, method=None)
上面是Request类的构造函数,其中参数包括:
第一,必选参数url,这个你懂的
第二,可选参数data,用于发出POST类型的请求
第三,可选参数headers,Request Headers 最常用的用法就是通过修改 User-Agent 来伪装浏览器,默认的 User-Agent 是 Python-urllib,我们可以通过修改它来伪装浏览器,比如要伪装火狐浏览器,你可以把它设置为:
Mozilla/5.0 (X11; U; Linux i686) Gecko/20071127 Firefox/2.0.0.11
下面我们构建一个包含url,data,headers参数的Request
from urllib import request, parse
url = 'http://httpbin.org/post'
headers = {
'User-Agent': 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)',
'Host': 'httpbin.org'
}
dict = {
'name': 'Germey'
}
data = bytes(parse.urlencode(dict), encoding='utf8')
req = request.Request(url=url, data=data, headers=headers, method='POST')
response = request.urlopen(req)
print(response.read().decode('utf-8'))