python urllib库使用

urllib是python中的内置库,为从万维网中抓取数据提供相关的接口。在使用python编写爬虫时经常会接触到这个库。

下面介绍一下urllib库中的一些方法及相应的实例。

urllib.urlopen(url[, data[, proxies]]) :

其中url参数表示远程的一个路径,data表示用于post方式传递到url的数据,proxies用于设置代理。该方法返回一个表示远程url的file-like对象。该对象拥有以下方法:
  • read() , readline() , readlines() , fileno() ,close() :这些方法的使用方式与文件对象完全一样
  • info():返回一个httplib.HTTPMessage 对象,表示远程服务器返回的头信息
  • getcode():返回http状态码。如200、404、403等。
  • geturl():返回请求的url,因为有时候服务器会将client重定向至另一个url
实例:
r=urllib.urlopen("http://www.baidu.com/")
print 'http headers:',r.info()
print 'http status:',r.getcode()
print 'url:',r.geturl()
print 'contents:',r.read()

urllib.urlretrieve(url[, filename[, reporthook[, data]]]):

urlretrieve方法直接将远程数据下载到本地。参数url表示远程文件的地址;参数filename指定了保存到本地的路径(如果未指定该参数,urllib会生成一个临时文件来保存数据);参数reporthook是一个回调函数,当连接上服务器、以及相应的数据块传输完毕的时候会触发该回调,如可以利用这个回调函数来显示当前的下载进度。参数data指post到服务器的数据。该方法返回一个包含两个元素的元组(filename, headers),filename表示保存到本地的路径,header表示服务器的响应头。

urllib.urlencode(query[, doseq])

将dict或者包含两个元素的元组列表转换成url参数。例如 字典{'name': 'brink', 'age': 20}将被转换为"name=brink&age=20"


urllib.quote(string[,safe])
对字符串进行编码。参数safe指定了不需要编码的字符。 如: In [26]: urllib.quote("hello world")

Out[26]: 'hello%20world'

urllib.unquote(string) 

对字符串进行解码

urllib.urlcleanup()
清空urltrieve()的缓存

2016-10-18:这个库似乎废弃了,建议使用urllib2,python3的话可以用urllib。

你可能感兴趣的:(python爬虫)