准备写一些列的 python之web模块学习，基本上涉及常用的的web模块，包括 urllib、urllib2、httplib、urlparse、requests，现在，开始我们的第一个模块的学习吧。

  1  urllib简介 

    python urllib 模块提供了一个从指定的URL地址获取网页数据，然后对其进行分析处理，获取我们想要的数据。


  2  常用方法

    2.1  urlopen  -- 创建一个类文件对象 为读取指定的URL

help(urllib.urlopen)

urlopen(url, data=None, proxies=None)
    Create a file-like object for the specified URL to read from.
参数：
    url ：表示远程数据的路径，一般是http或者ftp路径。
    data ：表示以get或者post方式提交到url的数据。
    proxies ：表示用于代理的设置。


Python 通过urlopen函数来获取html数据，urlopen返回一个类文件对象，它提供了如下常用方法：

    1）read() , readline() , readlines()，fileno()和close()：这些方法的使用与文件对象完全一样。
    2）info()：返回一个httplib.HTTPMessage 对象，表示远程服务器返回的头信息。
    3）getcode()：返回Http状态码，如果是http请求，200表示请求成功完成;404表示网址未找到。
    4）geturl()：返回请求的url地址。

附代码：

>>> import urllib
>>> response = urllib.urlopen('http://www.51cto.com') 
>>>res.read()
。。。。。。（一堆网页代码）
>>>res.readline()
'\r\n' 
。。。。
>>>res.readlines()
。。。（list形式的一堆网页代码）
>>>res.info()

>>> response.getcode()  # 返回Http状态码
    200
>>> response.geturl() # 返回请求的url地址 
    'http://www.51cto.com'
>>> response.close() # 最后别忘了关闭连接

    urllib中还提供了一些辅助方法，用于对url进行编码、解码。url中是不能出现一些特殊的符号的，有些符号有特殊的用途。我们知道以get方式提交数据的时候，会在url中添加key=value这样的字符串，所以在value中是不允许有'='，因此要对其进行编码；与此同时服务器接收到这些参数的时候，要进行解码，还原成原始的数据。这个时候，这些辅助方法会很有用：

    附带的其他方法：（主要是url编码解码）

- urllib.quote(string[, safe])：对字符串进行编码。参数safe指定了不需要编码的字符
- urllib.unquote(string) ：对字符串进行解码
- urllib.quote_plus(string [ , safe ] ) ：与urllib.quote类似，但这个方法用'+'来替换' '，而quote用'%20'来代替' '
- urllib.unquote_plus(string ) ：对字符串进行解码
- urllib.urlencode(query[, doseq])：将dict或者包含两个元素的元组列表转换成url参数。例如 字典{'name': 'wklken', 'pwd':'123'}将被转换为"name=wklken&pwd=123"  （常用）
#这里可以与urlopen结合以实现post方法和get方法
- urllib.pathname2url(path)：将本地路径转换成url路径
- urllib.url2pathname(path)：将url路径转换成本地路径

附代码：

>>> import urllib
>>>res = urllib.quote('I am 51cto')
>>> res
'I%20am%2051cto'
>>>urllib.unquote(res)
'I am 51cto'
>>>res = urllib.quote_plus('I am 51cto')
>>> res
'I+am+51cto'
>>>urllib.unquote_plus(res)
'I am 51cto'
>>> params = {'name':'51cto','pwd':'51cto'}
>>>urllib.urlencode(params)
'pwd=51cto&name=51cto'
>>>l2u=urllib.pathname2url('E:\51cto')
'E%3A%29cto'
>>>urllib.url2pathname(l2u)
'E:)cto'

    2.2 urlretrieve -- 直接将远程的数据下载到本地

help(urllib.urlretrieve)
urlretrieve(url, filename=None,reporthook=None, data=None)
参数：
    url ：指定下载的URL
    finename ：指定了保存本地路径（如果参数未指定，urllib会生成一个临时文件保存数据。
    reporthook ：是一个回调函数，当连接上服务器、以及相应的数据块传输完毕时会触发该回调，我们可以利用这个回调函数来显示当前的下载进度。
    data： 表示post到服务器的数据，该方法返回一个包含两个元素的(filename,headers)元组，

    下面是一个 urlretrieve方法下载文件的实例，可以显示下载进度：

#!/usr/bin/env python
# -*- coding: utf-8 -*-

import urllib
import os

def schedule(a,b,c):
    ''' 回调函数
    @a:已经下载的数据
    @b:数据块的大小
    @c:远程文件的大小
    '''

    per = 100.0 * a * b / c
    if per > 100:
        per = 100
    print "%.2f%%" % per
url = 'http://www.python.org/ftp/python/2.7.5/Python-2.7.5.tar.bz2'
local = os.path.join('c:','Python-2.7.5.tar.bz2')
urllib.urlretrieve(url,local,schedule)

    2.3  urlcleanup -- 清除由于urllib.urlretrieve()所产生的缓存


    通过上面的练习可以知道，urlopen可以轻松获取远端html页面信息，然后通过python正则对所需要的数据进行分析，匹配出想要用的数据，然后利用urlretrieve将数据下载到本地。对于访问受限或者对连接数有限制的远程url地址可以采用proxies（代理的方式）连接，如果远程数据量过大，单线程下载太慢的话可以采用多线程下载，这个就是传说中的爬虫。

    上面介绍的前两个方法是urllib中最常用的方法，这些方法在获取远程数据的时候，内部会使用URLopener或者 FancyURLOpener类。作为urllib的使用者，我们很少会用到这两个类。如果对urllib的实现感兴趣，或者希望urllib支持更多的协议，可以研究这两个类。在Python手册中，urllib的作者还列出了这个模块的缺陷和不足，感兴趣的可以打开 Python手册了解一下。

urllib ：https://docs.python.org/2/library/urllib.html