【转】关于python cookielib，urllib2,httplib 模块(HTTP状态码)
关于cookielib,urllib2,httplib 模块(注：以下部分信息摘自《python参考手册》)
Cookielib
cookielib 模块中定义了一些类来自动处理HTTP请求中的cookieCookieJar()对象 ：
CookieJar 存储HTTP请求生成的cookie，并向传出HTTP请求中添加cookie，整个cookie都存在内存中。
FileCookieJar()对象 (LWPCookieJar(xx)对象) 当需要时，可使用FileCookieJar.load(xx)从文件里载入cookie
更多关于cookielib模块的知识，可查寻手册。
那么在HTTP请求时，如何加入COOKIE处理呐？我们一歩一歩来。
urllib2
(这里有一点要说明一下：urllib,urllib2,urlparse,robotparse在python3中，全放于urllib包中)
一般简单请求：
import urllib2
print(urllib2.urlopen('http://www.baidu.com').read())
我们使用 urllib2.urlopen()就可以了。
当需要POST数据，或者说设置Header信息时，连接代理服务器，就需要使用Request()方法了。
header = {'User-Agent':'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'}
req = urllib2.Request(
url= 'http://www.xx.com'
data = postdata,
headers = header
)
r = urllib2.urlopen(req)
注意这里postdata是用urllib.urlencode()处理过的。实际这里的postdata可以是字典形式，也可以是这样匹配的字符串“k1=v1&k2=v2......”，只不过当以字典形式传入时，得使用urlencode()处理成"k1=v1&k2=v2......"形式。
Request实例除了直接使用参数外，还有如下方法：
add_data(data):data也是url编码过的，注意此方法不会将data追加到之前设置的数据上
add_header(key,val):添加报头信息，如：add_header('User-Agent','Mozilla/5.0 (Windows NT 5.1; rv:6.0.2) Gecko/20100101 Firefox/6.0.2')
set_proxy(host,type):设置连接代理服务器,host为主机，type为请求类型。
等等。
当然，以上设置请求仍然不能支持诸如COOKIE等HTTP高级功能，要支持这些功能，需要使用
bulid_opener()函数创建自己的opener对象
bulid_opener([handler1[,handler2,....])
传入的handler1,handler2等这些参数都是处理HTTP特殊功能的程序对象实例，并且有如下处理程序：
默认情况下：ProxyHandler,UnknowHandler,HTTPHandler,HTTPSHandler,HTTPDefaultErrorHandler
HTTPRedirectHandler,FTPHandler,FileHandler,HTTPErrorProcessoropener这些处理程序是可用的。
另外需要注意的是：bulid_opener()返回的对象是具有open(url[,data[,timeout]])方法，其作用是根据各种
处理程序提供的规则打开URL，当然我们可以使用install_opener(opener)来安装不同的opener对象作为urlopen()
使用的全局URL opener。
例如使用代理访问网络：
proxy = ProxyHandler({'http','http://www.xxx.com:8080/'}) #ProxyHandler() 接受一个字典参数，将协议名(如 http,ftp等)映射到相应的代理服务器上。
auth = HTTPBasicAuthHandler() #需要认证handler
auth.add_password('realm','host','user','pwd')
opener = build_opener(proxy,auth)
例如使用COOKIE：
#coding:utf-8
import urllib,urllib2,cookielib
#创建Opener----------------------------
#创建cookie对象
cookie = cookielib.CookieJar()
#创建COOKIE处理程序
cookieProc = urllib2.HTTPCookieProcessor(cookie)
#创建opener
opener = urllib2.build_opener(cookieProc)
#安装到urlopen()(这里也可以不用install_opener)
urllib2.install_opener(opener)
#发起请求------------------------------
#设置请求参数
postdata = {
'username':'[email protected]',
'password':'xxxxxx',
'type':1
}
postdata = urllib.urlencode(postdata)
#注：这里还可以这样写：
# 直接把 postdata = '[email protected]&password=xxxx&type=1'
#
#设置请求header
header = {'User-Agent':'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'}
#Request
req = urllib2.Request(
url = 'http://reg.163.com/logins.jsp?type=1&product=mail163&url=http://entry.mail.163.com/coremail/fcg/ntesdoor2?lightweight%3D1%26verifycookie%3D1%26language%3D-1%26style%3D1',
data = postdata,
headers = header
)
#请求
res = urllib2.urlopen(req).read()
#如果上面代码没有install_opener()，则这里可用:opener.open(req).read()方法来获取内容,实例请看：《通用的登陆Discuz!论坛 python代码》
print(res)
另关于urllib类
s = 'http://jk.chengdu.cn/中国 fsdf fsdf%^&'
#编码
print(urllib.quote(s))#quote类似PHP的urlencode
#结果：http%3A//jk.chengdu.cn/%E4%B8%AD%E5%9B%BD%20fsdf%20fsdf%25%5E%26
print(urllib.quote_plus(s)) #unquote_plus
#结果：http%3A%2F%2Fjk.chengdu.cn%2F%E4%B8%AD%E5%9B%BD+fsdf+fsdf%25%5E%26
#解码
print(urllib.unquote(urllib.quote(s)))
#结果：http://jk.chengdu.cn/中国 fsdf fsdf%^&
#print(urllib.urlencode(s)) #这个和php的urlencode()完全不一样
#urlencode用法
query = {'keyword':'中国','type':1}
print('http://jk.chengdu.cn?'+urllib.urlencode(query))
#结果：http://jk.chengdu.cn?type=1&keyword=%E4%B8%AD%E5%9B%BD
httplib模块获取HTTP响应头信息(python获取http状态码)
#coding:utf-8
import httplib
#链接
h = httplib.HTTPConnection('www.baidu.com')
#请求
h.request('GET','/')
#获取返回的HTTPResponse响应实例
'''
HTTPResponse对象有很多属性方法：read(),getheader(key)
gettheaders(),msg,version等等
'''
r = h.getresponse()
#获取http头信息
print(dict(r.msg))
#或者采用：
print(r.getheaders())
附HTTP常用状态码(来自《python参考手册》)
ps:以上所有提到的HTTP相关功能在PHP里可通过Curl工具来实现。