都是接受URL请求的相关模块,但是提供了不同的功能。两个最显著的不同如下:
(urllib2.urlopen accepts an instance of the Requestclass or a url, whereas urllib.urlopen only accepts a url )
1、urllib2可以接受一个Request类的实例来设置URL请求的headers
2、urllib仅可以接受URL。这意味着,你不可以伪装你的User Agent字符串等。
urllib 有urlencode,urllib2没有,这也是为什么总是urllib,urllib2常会一起使用的原因
req = urllib2.Request(
url=url,
data=postdata,
headers=headers
)
result = urllib2.urlopen(req)
urllib是基于http的高层库,它有以下三个主要功能:
(1)request处理客户端的请求
(2)response处理服务端的响应
(3)parse会解析url
#发送数据和header
import urllib.parse
import urllib.request
url = ''
user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
values = {
'act' : 'login',
'login[email]' : '',
'login[password]' : ''
}
headers = { 'User-Agent' : user_agent }
data = urllib.parse.urlencode(values)
req = urllib.request.Request(url, data, headers)
response = urllib.request.urlopen(req)
the_page = response.read()
print(the_page.decode("utf8"))
支持HTTP连接保持和连接池;支持使用cookie保持会话;支持文件上传;支持自动确定响应内容的编码;支持国际化的 URL 和 POST 数据自动编码。requests不是python自带的库,需要另外安装
pip install requests
先来一个简单的例子吧
import requests
r = requests.get(url='http://www.baidu.com') # 最基本的GET请求
print(r.status_code) # 获取返回状态
#带参数的GET请求,http://dict.baidu.com/s?wd=python
r = requests.get(url='http://dict.baidu.com/s', params={'wd':'python'})
print(r.url)
print(r.text) #打印解码后的返回数据
除了get
请求外,还可以POST请求,PUT请求,DELETE请求,HEAD请求,OPTIONS请求
对于WEB系统除了get请求外,还可以POST请求,PUT请求,DELETE请求,HEAD请求,OPTIONS请求一般只支持 GET 和 POST,有一些还支持 HEAD 方法
requests的官方指南文档:http://docs.python-requests.org/en/latest/user/quickstart.html