一.urllib模块介绍

import urllib

先看个小例子，打印结果为一个socket连接

示例一：

import urllib
url=r'http://www.baidu.com'
fp=urllib.urlopen(url)
print fp

>>> 

>

>>> 

1.基本操作

urlopen返回对象提供方法

read(),readline(),readlines(),close() 这些方法的使用方法与文件对象完全一样

info() 返回一个httplib.HTTPMessage对象，表示远程服务器返回的头信息

getcode() 返回HTTP状态码，如果是http请求，200请求成功完成，404请求网址未找到

geturl() 返回请求的url

示例二：

import urllib
url=r'http://www.baidu.com'
fp=urllib.urlopen(url)
#print fp.read() #打印网页内容，相当于一个大的字符串，和右键查看网页源代码效果一样
#print fp.readline() #打印一行内容，是一个元素
#print fp.readlines() #全部内容以列表的形式打印出来
print fp.info() #打印头信息
print fp.getcode() #打印返回状态码
print fp.geturl() #打印请求的url
fp.close() #关闭连接


2.urllib.urlretrieve

临时存放 urllib.urlretrieve(url)

本地存放 urllib.urlretrieve(url,'文件的绝对路径')

示例三：

import urllib
url=r'http://www.baidu.com'
filename=urllib.urlretrieve(url)
print type(filename) #元组类型
print filename #第一个参数为临时文件路径，第二个参数表示服务器的响应头信息
filename1=urllib.urlretrieve(url,'baidu.html') #在统计目录下生成一个baidu.html文件

>>> 

('c:\\users\\zhao\\appdata\\local\\temp\\tmpzjmhu6', )

>>> 


3.urllib.urlcleanup()

清除由于urllib.urlretrieve()所产生的缓存


4.urllib.quot 和urllib.quote_plus

区别在于是否解码符号/

示例四：

import urllib
url=r'http://www.baidu.com/!@#/'
#url编码
print urllib.quote(url)
print urllib.quote_plus(url)
#url解码
print urllib.unquote(urllib.quote(url))
print urllib.unquote_plus(urllib.quote_plus(url))

>>> 

http%3A//www.baidu.com/%21%40%23/

http%3A%2F%2Fwww.baidu.com%2F%21%40%23%2F

http://www.baidu.com/!@#/

http://www.baidu.com/!@#/

>>> 


5.urllib发送get和post请求

两种方式区别如下：(粘贴自百度知道，个人觉得总结的比较全面)

①get是从服务器上获取数据，post是向服务器传送数据；

②get是把参数数据队列加到提交表单的ACTION属性所指的URL中，值和表单内各个字段一一对应，在URL中可以看到。post是通过HTTP post机制，将表单内各个字段与其内容放置在HTML HEADER内一起传送到ACTION属性所指的URL地址。用户看不到这个过程；

③对于get方式，服务器端用Request.QueryString获取变量的值，对于post方式，服务器端用Request.Form获取提交的数据；

④get传送的数据量较小，不能大于2KB。post传送的数据量较大，一般被默认为不受限制。但理论上，IIS4中最大量为80KB，IIS5中为100KB；

⑤get安全性非常低，post安全性较高。但是执行效率却比Post方法好。 

建议：

①get方式的安全性较Post方式要差些，包含机密信息的话，建议用Post数据提交方式；

②在做数据查询时，建议用Get方式；而在做数据添加、修改或删除时，建议用Post方式。

示例五：

假设我们本地有一段test.php代码如下：

 
  
现在发送get和post请求：
 
  
import urllib
url=r'http://127.0.0.1:8888/test.php'
get_params=urllib.urlencode({'name':'zhzhgo','age':25})
post_params=urllib.urlencode({'i':1,'j':2})
#print get_params,type(get_params) #age=25&name=zhzhgo 
fp=urllib.urlopen(url+"?"+get_params,post_params)
print fp.read()
 
  
>>> 
 
  
get params:
 
  
array(2) {
 
  
  ["age"]=>
 
  
  string(2) "25"
 
  
  ["name"]=>
 
  
  string(6) "zhzhgo"
 
  
}
 
  
post params:
 
  
array(2) {
 
  
  ["i"]=>
 
  
  string(1) "1"
 
  
  ["j"]=>
 
  
  string(1) "2"
 
  
}
 
  

 
  
>>> 
 
  

 
  
二.urllib2模块
 
  
urllib与urllib2需要配合使用,区别如下：
 
  
①urllib2可以接受Request类来设置url请求的headers，urllib仅可以接受url；
 
  
②urllib提供urlencode方法生成请求参数字符串，urllib2没有；
 
  
③urllib2仅有quote无quote_plus相关方法；
 
  
④urllib2无urlretrieve方法。
 
  
示例六：
 
  
#应用urllib2接受Request类来设置url请求的headers来跳过登陆
import urllib,urllib2
import base64
url=r'http://127.0.0.1:8080/test.html'
#strip()默认删除空白符，此时删除换行符(包括'\n','\r','\t',' ')
base64string=base64.encodestring('admin:123456').strip()
authheader="Basic "+base64string
req=urllib2.Request(url)
req.add_header('Authorization',authheader)
urllib2.urlopen(req)
 
  

 
  
三.urlparse模块
 
  
urlparse模块主要是把url拆分为6部分，并返回元组
 
  
示例七：
 
  
import urlparse
url=r'http://www.baidu.com/user/index.html;18?name=zhzhgo&age=25!#8888'
res=urlparse.urlparse(url)
print res
print res[0]
print res[1]
 
  
>>> 
 
  
ParseResult(scheme='http', netloc='www.baidu.com', path='/user/index.html', params='18', query='name=zhzhgo&age=25!', fragment='8888')
 
  
http
 
  
www.baidu.com
 
  
>>>