python urllib2模块学习
urllib2是urllib扩展的库，不仅可以使用http协议，而且可以扩展到ftp等协议。
常用函数一：urlopen(url, data=None, timeout=
最基本的用法和urllib下面的urlopen(url, data=None)一样，传递一个URL参数， 添加post需要的data，返回值是一个类似于file的对象， 可以使用通常的文件操作来操作这个对象，比如read，write等。
urllib2.urlopen()参数可以用一个request的对象来代替URL，而且增加了一个URLError异常，对于HTTP协议的错误，增加了一个HTTPError的异常，其中这个HTTPError自动变成一个合法的response来返回。
最简单的使用情况：
import urllib2
url = "http://www.baidu.com"
response = urllib2.urlopen(url)
print response.info()注意url一定要添加协议类型，也就是http://，其中response.info()可以获取返回来的http response head的信息，response.read()用来获取response的body信息。
默认如果只有一个url参数，那么默认是使用HTTP GET 的方法来访问url。
如果访问的url不存在， 那么会返回一个HTTPError
import urllib2
url = "http://www.jnrain.com/go"
response = urllib2.urlopen(url)
print response.info()
print response.read()
其中错误信息如下：
raise HTTPError(req.get_full_url(), code, msg, hdrs, fp)
urllib2.HTTPError: HTTP Error 404: Not Found
import urllib2
url = "http://www.jnrain.com/go"
try:
response = urllib2.urlopen(url)
print response.info()
print response.read()
except urllib2.HTTPError, e:
print e.getcode()
print e.reason
print e.geturl()
print "-------------------------"
print e.info()
print e.read()
404
Not Found
http://www.jnrain.com/go
-------------------------
Server: nginx/1.4.1
Date: Wed, 19 Feb 2014 08:51:50 GMT
Content-Type: text/html; charset=gb18030
Content-Length: 168
Connection: close
404 Not Found
404 Not Found
nginx/1.4.1
import urllib2
request = urllib2.Request("http://www.jnrain.com/wForum/logon.php")
request.add_header('User-agent', 'Internet Explorer')
try:
response = urllib2.urlopen(request)
except urllib2.URLError, e:
print e.code
headers = response.info()
data = response.read()这样我们的http request头部中的user-agent就变成了Internet Explorer，如果创建reques的时候不添加data， 那么默认使用GET方法，如果添加data，那么使用POST方法，下面是Request类中的方法：
def get_method(self):
if self.has_data():
return "POST"
else:
return "GET"
# XXX these helper methods are lame
def add_data(self, data):
self.data = data
def has_data(self):
return self.data is not None
def get_data(self):
return self.data可以在执行时输出debug信息
import urllib2
httpHandler = urllib2.HTTPHandler(debuglevel=1)
httpsHandler = urllib2.HTTPSHandler(debuglevel=1)
opener = urllib2.build_opener(httpHandler, httpsHandler)
urllib2.install_opener(opener)
url = "http://www.baidu.com"
request = urllib2.Request(url)
request.add_header("User-Agent", "Firefox")
response = urllib2.urlopen(request)只要定义debuglevel设置为1就可以了
post 表单的相关使用:
import urllib2
import urllib
httpHandler = urllib2.HTTPHandler(debuglevel=1)
httpsHandler = urllib2.HTTPSHandler(debuglevel=1)
opener = urllib2.build_opener(httpHandler, httpsHandler)
urllib2.install_opener(opener)
url = "https://www.account.xiaomi.com/pass/serviceLoginAuth2"
postdata = urllib.urlencode({"user":"XXXXXXX",
"_json":"true",
"pwd":"XXXXXXX",
"sid":"eshop",
"_sign":"g7K1HSZPYIaO4tSlhS1xdDJBPV8=",
"callback":"http://order.xiaomi.com/login/callback?followup=http%3A%2F%2Fwww.xiaomi.com%2Findex.php&sign=ZjEwMWVlOTY3MWM1OGE3YjYxNGRiZjQ5MzJmYjI5NDE0ZWY0NzY5Mw,," })
request = urllib2.Request(url, data=postdata)
request.add_header("User-Agent", "Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:26.0) Gecko/20100101 Firefox/26.0")
try:
response = urllib2.urlopen(request)
print response.info()
print response.read()
except urllib2.HTTPError,e:
print e.getcode()
print e.reason