Python3 urllib.request与urllib.parse浅析

摘要：python3.x 版本将urllib与urllib2合并为urllib，便于操作。简单介绍一下用过的urllib.request和urllib.parse

urllib is a package that collects several modules for working with URLs:

• urllib.request for opening and reading URLs
• urllib.error containing the exceptions raised by urllib.request
• urllib.parse for parsing URLs
• urllib.robotparser for parsing robots.txt files

urllib.request.Request()

Request是一个url请求抽象类，将一个url封装成为一个Request对象。

class urllib.request.Request(url, data=None, headers={}, origin_req_host=None, unverifiable=False, method=None)

urllib.request.urlopen()

能够打开一个string类型或者Request对象的url链接。

urllib.request.urlopen(url, data=None, [timeout, ]*, cafile=None, capath=None, cadefault=False, context=None)

urllib.request.urlopen('http://www.python.org/')
#或者是打开一个封装好的Request对象

urllib.request.urlretrieve()

同样也是打开一个链接进行检索，并且，将返回的内容保存到文件中。

urllib.request.urlretrieve(url, filename=None, reporthook=None, data=None)

urllib.parse.urlencode() 、urllib.parse.urlquote() 和urllib.parse.urlunquote()

前两个是将一个utf-8类型的字符串url，解码成ascii格式的方法，其中

• urllib.parse.urlencode()
  只将连接中utf-8编码不在ascii表中的字符翻译成带百分号的ascii表示形式

• urllib.parse.quote()
  将所有的字符，除0_9、aZ外，全部转换成百分号的ascii形式。

• urllib.parse.unquote()
  是上述方法的逆操作，将带百分号的ascii编码恢复成utf-8的字符形式。

>>>params = {'query':'中文','submit':'search'}
>>>data = urllib.parse.urlencode(params)
>>>data
'query=%E4%B8%AD%E6%96%87&submit=search'

>>>url='http://wwww.baidu.com/search?q=中文'
>>>quotedurl = urllib.parse.quote(url)
'http%3A//wwww.baidu.com/search%3Fq%3D%E4%B8%AD%E6%96%87'
>>>unquotedurl = urllib.parse.unquote(quotedurl)
>>>unquotedurl
'http://wwww.baidu.com/search?q=中文'

串联一下

>>> import urllib.request
>>> import urllib.parse

>>> url = 'http://pythonprogramming.net/?'
>>> values={'submit':'search','query':'basic'}
>>> data = urllib.parase.urlencode(values)
>>> req = urllib.request.Request(url+data)
>>> resp = urllib.request.urlopen(req)
>>> content = resp.read()
>>> print(content[:100])