python基于http协议编程:httplib,urllib和urllib2

原文地址为: python基于http协议编程:httplib,urllib和urllib2

        httplib实现了HTTP和HTTPS的客户端协议,一般不直接使用,在python更高层的封装模块中(urllib,urllib2)使用了它的http实现。

import httplib
conn 
= httplib.HTTPConnection("google.com")
conn.request(
'get''/')
print conn.getresponse().read()
conn.close()

 

 

httplib.HTTPConnection ( host [ , port [ , strict [ , timeout ]]] )

 

       HTTPConnection类的构造函数,表示一次与服务器之间的交互,即请求/响应。参数host表示服务器主机,如:http://www.csdn.net/;port为端口号,默认值为80; 参数strict的 默认值为false, 表示在无法解析服务器返回的状态行时( status line) (比较典型的状态行如: HTTP/1.0 200 OK ),是否抛BadStatusLine 异常;可选参数timeout 表示超时时间。
HTTPConnection提供的方法:

HTTPConnection.request ( method , url [ , body [ , headers ]] )

 

调用request 方法会向服务器发送一次请求,method 表示请求的方法,常用有方法有get 和post ;url 表示请求的资源的url ;body 表示提交到服务器的数据,必须是字符串(如果method 是”post” ,则可以把body 理解为html 表单中的数据);headers 表示请求的http 头。
HTTPConnection.getresponse ()
获取Http 响应。返回的对象是HTTPResponse 的实例,关于HTTPResponse 在下面 会讲解。
HTTPConnection.connect ()
连接到Http 服务器。
HTTPConnection.close ()
关闭与服务器的连接。
HTTPConnection.set_debuglevel ( level )
设置高度的级别。参数level 的默认值为0 ,表示不输出任何调试信息。
httplib.HTTPResponse
HTTPResponse表示服务器对客户端请求的响应。往往通过调用HTTPConnection.getresponse()来创建,它有如下方法和属性:
HTTPResponse.read([amt])
获取响应的消息体。如果请求的是一个普通的网页,那么该方法返回的是页面的html。可选参数amt表示从响应流中读取指定字节的数据。
HTTPResponse.getheader(name[, default])
获取响应头。Name表示头域(header field)名,可选参数default在头域名不存在的情况下作为默认值返回。
HTTPResponse.getheaders()
以列表的形式返回所有的头信息。
HTTPResponse.msg
获取所有的响应头信息。
HTTPResponse.version
获取服务器所使用的http协议版本。11表示http/1.1;10表示http/1.0。
HTTPResponse.status
获取响应的状态码。如:200表示请求成功。
HTTPResponse.reason
返回服务器处理请求的结果说明。一般为”OK”
下面通过一个例子来熟悉HTTPResponse中的方法:

 
import  httplib
conn 
=  httplib.HTTPConnection( " www.g.com " 80 , False)
conn.request(
' get ' ' / ' , headers  =  { " Host " " www.google.com " ,
                                    
" User-Agent " " Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.1) Gecko/20090624 Firefox/3.5 " ,
                                    
" Accept " " text/plain " })
res 
=  conn.getresponse()
print   ' version: ' , res.version
print   ' reason: ' , res.reason
print   ' status: ' , res.status
print   ' msg: ' , res.msg
print   ' headers: ' , res.getheaders()
# html
#
print '\n' + '-' * 50 + '\n'
#
print res.read()
conn.close()

 

Httplib模块中还定义了许多常量,如:
Httplib. HTTP_PORT 的值为80,表示默认的端口号为80;
Httplib.OK 的值为200,表示请求成功返回;
Httplib. NOT_FOUND 的值为404,表示请求的资源不存在;
可以通过httplib.responses 查询相关变量的含义,如:
Print httplib.responses[httplib.NOT_FOUND] #not found
更多关于httplib的信息,请参考Python手册httplib 模块。

urllib 和urllib2实现的功能大同小异,但urllib2要比urllib功能等各方面更高一个层次。目前的HTTP访问大部分都使用urllib2.
urllib2:

 
req  =  urllib2.Request( ' http://pythoneye.com ' )
response 
=  urllib2.urlopen(req)
the_page 
=  response.read()

 

FTP同样:

 

req  =  urllib2.Request( ' ftp://pythoneye.com ' )

 

urlopen返回的应答对象response有两个很有用的方法info()和geturl()
geturl — 这个返回获取的真实的URL,这个很有用,因为urlopen(或者opener对象使用的)或许
会有重定向。获取的URL或许跟请求URL不同。
Data数据
有时候你希望发送一些数据到URL
post方式:

 

values  = { ' body '  :  ' test short talk ' , ' via ' : ' xxxx ' }
data 
=  urllib.urlencode(values)
req 
=  urllib2.Request(url, data)

 

 

get方式:

 
data[ ' name ' =   ' Somebody Here '
data[
' location ' =   ' Northampton '
data[
' language ' =   ' Python '
url_values 
=  urllib.urlencode(data)
url 
=   ' http://pythoneye.com/example.cgi '
full_url 
=  url  +   ' ? '   +  url_values
data 
=  urllib2.open(full_url)

 

使用Basic HTTP Authentication:

 
import  urllib2
#  Create an OpenerDirector with support for Basic HTTP Authentication...
auth_handler  =  urllib2.HTTPBasicAuthHandler()
auth_handler.add_password(realm
= ' PDQ Application ' ,
                          uri
= ' https://pythoneye.com/vecrty.py ' ,
                          user
= ' user ' ,
                          passwd
= ' pass ' )
opener 
=  urllib2.build_opener(auth_handler)
#  ...and install it globally so it can be used with urlopen.
urllib2.install_opener(opener)
urllib2.urlopen(
' http://www. pythoneye.com/app.html ' )

 

使用代理ProxyHandler:

 
proxy_handler  =  urllib2.ProxyHandler({ ' http ' ' http://www.example.com:3128/ ' })
proxy_auth_handler 
=  urllib2.HTTPBasicAuthHandler()
proxy_auth_handler.add_password(
' realm ' ' host ' ' username ' ' password ' )

opener 
=  build_opener(proxy_handler, proxy_auth_handler)
#  This time, rather than install the OpenerDirector, we use it directly:
opener.open( ' http://www.example.com/login.html ' )

URLError–HTTPError:


from  urllib2  import  Request, urlopen, URLError, HTTPError
req 
=  Request(someurl)
try :
     response 
=  urlopen(req)
except  HTTPError, e:
     
print   ' Error code:  ' , e.code
except  URLError, e:
     
print   ' Reason:  ' , e.reason
else :
      .............

 

或者:

 
from  urllib2  import  Request, urlopen, URLError
req 
=  Request(someurl)
try :
     response 
=  urlopen(req)
except  URLError, e:
     
if  hasattr(e,  ' reason ' ):
           
print   ' Reason:  ' , e.reason
     
elif  hasattr(e,  ' code ' ):
           
print   ' Error code:  ' , e.code
     
else :
           .............

 

通常,URLError在没有网络连接(没有路由到特定服务器),或者服务器不存在的情况下产生
异常同样会带有”reason”属性,它是一个tuple,包含了一个错误号和一个错误信息

 
req  =  urllib2.Request( ' http://pythoneye.com ' )
try :
   urllib2.urlopen(req)
except  URLError, e:
   
print  e.reason
   
print  e.code
   
print  e.read()

 

最后需要注意的就是,当处理URLError和HTTPError的时候,应先处理HTTPError,后处理URLError
Openers和Handlers:
opener使用操作器(handlers)。所有的重活都交给这些handlers来做。每一个handler知道
怎么打开url以一种独特的url协议(http,ftp等等),或者怎么处理打开url的某些方面,如,HTTP重定向,或者HTTP
cookie。
默认opener有对普通情况的操作器 (handlers)- ProxyHandler, UnknownHandler, HTTPHandler,
HTTPDefaultErrorHandler, HTTPRedirectHandler, FTPHandler, FileHandler, HTTPErrorProcessor.
再看python API:Return an OpenerDirector instance, which chains the handlers in the order given
这就更加证明了一点,那就是opener可以看成是一个容器,这个容器当中放的是控制器,默认的,容器当中有五个控制
器,程序员也可以加入自己的控制器,然后这些控制器去干活。

 
class  HTTPHandler(AbstractHTTPHandler):
    
def  http_open(self, req):
        
return  self.do_open(httplib.HTTPConnection, req)
    http_request 
=  AbstractHTTPHandler.do_request_

 

HTTPHandler是Openers当中的默认控制器之一,看到这个代码,证实了urllib2是借助于httplib实现的,同时也证实了Openers和Handlers的关系。

 

 

 


转载请注明本文地址: python基于http协议编程:httplib,urllib和urllib2

你可能感兴趣的:(python,lib,协议,http,http协议,url)