python网络编程
一.urllib模块介绍
import urllib
先看个小例子，打印结果为一个socket连接
示例一：
import urllib url=r'http://www.baidu.com' fp=urllib.urlopen(url) print fp
>>>
<addinfourl at 43317888 whose fp = <socket._fileobject object at 0x02947530>>
>>>
1.基本操作
urlopen返回对象提供方法
read(),readline(),readlines(),close() 这些方法的使用方法与文件对象完全一样
info() 返回一个httplib.HTTPMessage对象，表示远程服务器返回的头信息
getcode() 返回HTTP状态码，如果是http请求，200请求成功完成，404请求网址未找到
geturl() 返回请求的url
示例二：
import urllib url=r'http://www.baidu.com' fp=urllib.urlopen(url) #print fp.read() #打印网页内容，相当于一个大的字符串，和右键查看网页源代码效果一样 #print fp.readline() #打印一行内容，是一个元素 #print fp.readlines() #全部内容以列表的形式打印出来 print fp.info() #打印头信息 print fp.getcode() #打印返回状态码 print fp.geturl() #打印请求的url fp.close() #关闭连接
2.urllib.urlretrieve
临时存放 urllib.urlretrieve(url)
本地存放 urllib.urlretrieve(url,'文件的绝对路径')
示例三：
import urllib url=r'http://www.baidu.com' filename=urllib.urlretrieve(url) print type(filename) #元组类型 print filename #第一个参数为临时文件路径，第二个参数表示服务器的响应头信息 filename1=urllib.urlretrieve(url,'baidu.html') #在统计目录下生成一个baidu.html文件
>>>
<type 'tuple'>
('c:\\users\\zhao\\appdata\\local\\temp\\tmpzjmhu6', <httplib.HTTPMessage instance at 0x02BD7CD8>)
>>>
3.urllib.cleanup
清除由于urllib.urlretrieve()所产生的缓存
4.urllib.quot 和urllib.quote_plus
区别在于是否解码符号/
示例四：
import urllib url=r'http://www.baidu.com/!@#/' #url编码 print urllib.quote(url) print urllib.quote_plus(url) #url解码 print urllib.unquote(urllib.quote(url)) print urllib.unquote_plus(urllib.quote_plus(url))
>>>
http%3A//www.baidu.com/%21%40%23/
http%3A%2F%2Fwww.baidu.com%2F%21%40%23%2F
http://www.baidu.com/!@#/
http://www.baidu.com/!@#/
>>>
5.urllib发送get和post请求
两种方式区别如下：(粘贴自百度知道，个人觉得总结的比较全面)
①get是从服务器上获取数据，post是向服务器传送数据；
②get是把参数数据队列加到提交表单的ACTION属性所指的URL中，值和表单内各个字段一一对应，在URL中可以看到。post是通过HTTP post机制，将表单内各个字段与其内容放置在HTML HEADER内一起传送到ACTION属性所指的URL地址。用户看不到这个过程；
③对于get方式，服务器端用Request.QueryString获取变量的值，对于post方式，服务器端用Request.Form获取提交的数据；
④get传送的数据量较小，不能大于2KB。post传送的数据量较大，一般被默认为不受限制。但理论上，IIS4中最大量为80KB，IIS5中为100KB；
⑤get安全性非常低，post安全性较高。但是执行效率却比Post方法好。
建议：
①get方式的安全性较Post方式要差些，包含机密信息的话，建议用Post数据提交方式；
②在做数据查询时，建议用Get方式；而在做数据添加、修改或删除时，建议用Post方式。
示例五：
假设我们本地有一段test.php代码如下：
<?php
print_r("get params:\n");
var_dump($_GET);
print_r("post params:\n");
var_dump($_POST);
现在发送get和post请求：
import urllib
url=r'http://127.0.0.1:8888/test.php'
get_params=urllib.urlencode({'name':'zhzhgo','age':25})
post_params=urllib.urlencode({'i':1,'j':2})
#print get_params,type(get_params) #age=25&name=zhzhgo <type 'str'>
fp=urllib.urlopen(url+"?"+get_params,post_params)
print fp.read()
>>>
get params:
array(2) {
["age"]=>
string(2) "25"
["name"]=>
string(6) "zhzhgo"
}
post params:
array(2) {
["i"]=>
string(1) "1"
["j"]=>
string(1) "2"
}
>>>
二.urllib2模块
urllib与urllib2需要配合使用,区别如下：
①urllib2可以接受Request类来设置url请求的headers，urllib仅可以接受url；
②urllib提供urlencode方法生成请求参数字符串，urllib2没有；
③urllib2仅有quote无quote_plus相关方法；
④urllib2无urlretrieve方法。
示例六：
#应用urllib2接受Request类来设置url请求的headers来跳过登陆
import urllib,urllib2
import base64
url=r'http://127.0.0.1:8080/test.html'
#strip()默认删除空白符，此时删除换行符(包括'\n','\r','\t',' ')
base64string=base64.encodestring('admin:123456').strip()
authheader="Basic "+base64string
req=urllib2.Request(url)
req.add_header('Authorization',authheader)
urllib2.urlopen(req)
三.urlparse模块
urlparse模块主要是把url拆分为6部分，并返回元组
示例七：
import urlparse url=r'http://www.baidu.com/user/index.html;18?name=zhzhgo&age=25!#8888' res=urlparse.urlparse(url) print res print res[0] print res[1]
>>>
ParseResult(scheme='http', netloc='www.baidu.com', path='/user/index.html', params='18', query='name=zhzhgo&age=25!', fragment='8888')
http
www.baidu.com
>>>