python urllib库使用

urllib是python中的内置库，为从万维网中抓取数据提供相关的接口。在使用python编写爬虫时经常会接触到这个库。

下面介绍一下urllib库中的一些方法及相应的实例。

urllib.urlopen(url[, data[, proxies]]) :

其中url参数表示远程的一个路径，data表示用于post方式传递到url的数据，proxies用于设置代理。该方法返回一个表示远程url的file-like对象。该对象拥有以下方法：

• read() , readline() , readlines() , fileno() ,close() ：这些方法的使用方式与文件对象完全一样
• info()：返回一个httplib.HTTPMessage 对象，表示远程服务器返回的头信息
• getcode()：返回http状态码。如200、404、403等。
• geturl()：返回请求的url，因为有时候服务器会将client重定向至另一个url

实例：

r=urllib.urlopen("http://www.baidu.com/")
print 'http headers:',r.info()
print 'http status:',r.getcode()
print 'url:',r.geturl()
print 'contents:',r.read()

urllib.urlretrieve(url[, filename[, reporthook[, data]]])：

urlretrieve方法直接将远程数据下载到本地。参数url表示远程文件的地址；参数filename指定了保存到本地的路径（如果未指定该参数，urllib会生成一个临时文件来保存数据）；参数reporthook是一个回调函数，当连接上服务器、以及相应的数据块传输完毕的时候会触发该回调，如可以利用这个回调函数来显示当前的下载进度。参数data指post到服务器的数据。该方法返回一个包含两个元素的元组(filename, headers)，filename表示保存到本地的路径，header表示服务器的响应头。

urllib.urlencode(query[, doseq])

将dict或者包含两个元素的元组列表转换成url参数。例如 字典{'name': 'brink', 'age': 20}将被转换为"name=brink&age=20"

urllib.quote(string[,safe])

对字符串进行编码。参数safe指定了不需要编码的字符。 如： In [26]: urllib.quote("hello world")

Out[26]: 'hello%20world'

urllib.unquote(string) 

对字符串进行解码

urllib.urlcleanup()

清空urltrieve()的缓存

2016-10-18:这个库似乎废弃了，建议使用urllib2，python3的话可以用urllib。