urllib模块使用

urllib模块

作用

主要用于从网页上抓取数据。以及封装了一些常用的URL编码解码函数

使用方法

最简单的使用， 以打开百度为例

import urllib
url = 'http://www.baidu.com'
print urllib.urlopen(url).read()

注意点:

• url必须加上协议头"http://", 否则会不起作用，认为是打开本地文件
• urlopen默认是get方法, 加上data参数就是post

使用代理

proxies = {'http': 'http://www.someproxy.com:3128'}
filehandle = urllib.urlopen(some_url, proxies=proxies)

关于代理，还需要说一点时，使用urllib.open()时默认会使用系统环境变量http_proxy设置的代理

返回值

urllib.open()的返回值的一些方法与操作本地文件一样。如

import urllib

url = 'http://www.baidu.com'
res = urllib.urlopen(url)
# 读取所有内容
print res.read()

# 读取一行内容
print res.readline()

# 按行读取，返回一个列表
print res.readlines()

# 读取文件描述符(类似shell脚本里错误重定向里的0, 1, 2)
print res.fileno()

# 获取返回的地址, 请求的链接可能被重定向过
print res.geturl()

# 获取请求获取的http状态码
print res.getcode()

# 返回请求的headers信息,类似curl -I 命令
print res.info()

下载网页

import urllib

# 保存网页内容到文件
url = 'http://www.baidu.com'
filename, headers = urllib.urlretrieve(url, '/tmp/baidu.html')
print filename
print headers
# 清理之前调用urlretrieve的缓存信息
urllib.urlcleanup()

url编码解码

对字符串进行URL编码

# quote对字符串进行编码
print urllib.quote('abc def')  # abc%20def

# safe参数指定不需要编码的字符, 默认值是'/'
print urllib.quote('http://www.baidu.com')  # http%3A//www.baidu.com
print urllib.quote('http://www.baidu.com', safe=':/')  # http://www.baidu.com
print urllib.quote('[email protected]', safe=':/')  # example%40foxmail.com

# quote_plus跟quote一样,只是把空格转换成"+"
print urllib.quote_plus('abc def')  # abc+def

# unquote对字符串进行解码, 与quote作用相反
print urllib.unquote("http%3A//www.baidu.com") # http://www.baidu.com
print urllib.unquote_plus("abc+def") # abc def


# urlencode将字典或元祖序列转换成字符串 
print urllib.urlencode({"name": 'xxx', 'age': [10, 11]}， doseq=0) # age=%5B10%2C+11%5D&name=xxx

print urllib.urlencode((("name", 'xxx'), ('age', [10,11])))

# doseq参数表示是否把列表解析为重复的参数
print urllib.urlencode({"name": 'xxx', 'age': [10, 11]}, doseq=1) # age=10&age=11&name=xxx

# 查看当前使用的代理
print urllib.getproxies()

一些例子

GET请求

>>> import urllib
>>> params = urllib.urlencode({'spam': 1, 'eggs': 2, 'bacon': 0})
>>> f = urllib.urlopen("http://www.musi-cal.com/cgi-bin/query?%s" % params)
>>> print f.read()

POST请求

>>> import urllib
>>> params = urllib.urlencode({'spam': 1, 'eggs': 2, 'bacon': 0})
>>> f = urllib.urlopen("http://www.musi-cal.com/cgi-bin/query", params)
>>> print f.read()

使用代理

>>> import urllib
>>> proxies = {'http': 'http://proxy.example.com:8080/'}
>>> opener = urllib.FancyURLopener(proxies)
>>> f = opener.open("http://www.python.org")
>>> f.read()