1.urllib.urlopen
- 语法：urlopen(url, data=None, proxies=None, context=None)
Create a file-like object for the specified URL to read from.打开一个url(可以是本地路径），返回一个包含该url文件内容的类文件句柄。若url为网络地址，则需要加上http:// - 类文件句柄的常用方法：
- read(),readline(),readlines(),close()，这些方法的使用方式类似文件对象。
- getcode()，返回http状态码，如200表示读取成功，404表示页面未找到。
- geturl()，返回请求的url。
- info(),返回一个httplib.HTTPMessage对象，表示远程服务器返回的头信息，一般有如下方法：
- headers:返回完整的头信息
- gettype()：返回content-type，如text/html等
- getheader()/getheaders()，如对象.getheader('Content-Type')返回Content-Type的值。
- items()/keys()/values()：返回头信息的字典形式。
2.urllib.urlretrieve
- 语法：urlretrieve(url, filename=None, reporthook=None, data=None, context=None)，将url定位到的html文件存储到本地磁盘中。filename为要保存到本地的文件，reporthook为下载状态报告。
- reportook:
- 参数1：当前传输的块数；
- 参数2：块大小；
- 参数3：数据总大小；
- 返回值为一个二元数组（filename,HTTPMessage）,filename为储存在本地的文件名，HTTPMessage为返回的头信息。
实例如下：
import urllib
def progress(blk,blk_size,total_size):
print '%d/%d - %0.2f%%'%(blk*blk_size,total_size,(float)(blk*blk_size)*100/total_size)
url=r'http://blog.kamidox.com'
s=urllib.urlretrieve(url,'index.html',reporthook=progress)
返回值为：
0/15625 - 0.00%
8192/15625 - 52.43%
16384/15625 - 104.86%
注：以上实例运行版本为Python2，（float）(blk*blk_size)表示将(blk*blk_size)转化为浮点数，（）必须保留。
3.urllib.urlencode
把字典数据转换为url编码
用途：
- 对url参数进行编码
- 对post上去的form数据进行编码
实例：
#coding:utf8
import urllib
params={'score':100,'name':'爬虫基础','comment':'very good'}
qs=urllib.urlencode(params)
print qs
运行结果为：
comment=very+good&score=100&name=%E7%88%AC%E8%99%AB%E5%9F%BA%E7%A1%80
4.urlparse.parse_qs
把url编码转换为字典数据
实例：
#coding:utf8
import urllib
import urlparse
params={'score':100,'name':'爬虫基础','comment':'very good'}
qs=urllib.urlencode(params)
print qs
D=urlparse.parse_qs(qs)
for key in D:
print key,' : ',D[key][0]
print '*'*32
#某百度图片网址
url1='http://image.baidu.com/search/detail?ct=503316480&z=0&ipn=d&word=%E9%AB%98%E6%B8%85%E6%91%84%E5%BD%B1&step_word=&pn=0&spn=0&di=0&pi=&rn=1&tn=baiduimagedetail&is=&istype=2&ie=utf-8&oe=utf-8&in=&cl=2&lm=-1&st=-1&cs=339723779%2C3080645013&os=47246623%2C2505896560&simid=&adpicid=0&ln=1000&fr=&fmq=1452691568095_R&ic=0&s=undefined&se=&sme=&tab=0&width=&height=&face=undefined&ist=&jit=&cg=&bdtype=-1&objurl=http%3A%2F%2Fwww.hkstv.hk%3A8080%2Fadver%2Fpicture%2F2014%2F5%2F0c64828b-8e37-4d11-8a58-880382981731.jpg&fromurl=ippr_z2C%24qAzdH3FAzdH3F2k_z%26e3Bv6t_z%26e3BvgAzdH3F9da08AzdH3Fda89AzdH3FanAzdH3F8dAzdH3F0cn8f99m8dlm_z%26e3Bip4&gsm=0'
result1=urlparse.urlparse(url1)#返回一个urlparse解析对象
print result1
D1=urlparse.parse_qs(result1.query)
for key in D1:
print key,' : ',D1[key][0]
运行结果为：
comment=very+good&score=100&name=%E7%88%AC%E8%99%AB%E5%9F%BA%E7%A1%80
comment : very good
score : 100
name : 爬虫基础
********************************
ParseResult(scheme='http', netloc='image.baidu.com', path='/search/detail', params='', query='ct=503316480&z=0&ipn=d&word=%E9%AB%98%E6%B8%85%E6%91%84%E5%BD%B1&step_word=&pn=0&spn=0&di=0&pi=&rn=1&tn=baiduimagedetail&is=&istype=2&ie=utf-8&oe=utf-8&in=&cl=2&lm=-1&st=-1&cs=339723779%2C3080645013&os=47246623%2C2505896560&simid=&adpicid=0&ln=1000&fr=&fmq=1452691568095_R&ic=0&s=undefined&se=&sme=&tab=0&width=&height=&face=undefined&ist=&jit=&cg=&bdtype=-1&objurl=http%3A%2F%2Fwww.hkstv.hk%3A8080%2Fadver%2Fpicture%2F2014%2F5%2F0c64828b-8e37-4d11-8a58-880382981731.jpg&fromurl=ippr_z2C%24qAzdH3FAzdH3F2k_z%26e3Bv6t_z%26e3BvgAzdH3F9da08AzdH3Fda89AzdH3FanAzdH3F8dAzdH3F0cn8f99m8dlm_z%26e3Bip4&gsm=0', fragment='')
tab : 0
cl : 2
ipn : d
spn : 0
cs : 339723779,3080645013
ic : 0
face : undefined
ie : utf-8
ct : 503316480
ln : 1000
lm : -1
fmq : 1452691568095_R
tn : baiduimagedetail
istype : 2
rn : 1
pn : 0
gsm : 0
di : 0
fromurl : ippr_z2C$qAzdH3FAzdH3F2k_z&e3Bv6t_z&e3BvgAzdH3F9da08AzdH3Fda89AzdH3FanAzdH3F8dAzdH3F0cn8f99m8dlm_z&e3Bip4
adpicid : 0
bdtype : -1
word : 楂樻竻鎽勫奖
objurl : http://www.hkstv.hk:8080/adver/picture/2014/5/0c64828b-8e37-4d11-8a58-880382981731.jpg
oe : utf-8
st : -1
s : undefined
z : 0
os : 47246623,2505896560
5.实例：获取雅虎财经股票数据
5.1接口介绍
- 单支股票历史全部数据
- 深市数据链接：http://table.finance.yahoo.com/table.csv?s=000001.sz
- 沪市数据链接：http://table.finance.yahoo.com/table.csv?s=600000.ss
- 单支股票时间段数据
示例：取2012年1月1日至2012年4月19日600690的数据
http://table.finance.yahoo.com/table.csv?a=0&b=1&c=2012&d=3&e=19&f=2012&s=600690.ss
参数解释： - a:开始月份，从0开始计数，1月份表示为0；
- b:开始日期；
- c:开始年份；
- d:结束月份，从0开始计数，1月份表示为0；
- e:结束日期；
- f:结束年份。
5.2源代码
# -- coding: utf-8 --
import urllib
import os
import datetime
def download_stock_data(stock_list):
base_dir=os.path.dirname(__file__)#获取文件夹路径
for sid in stock_list:
url=r'http://table.finance.yahoo.com/table.csv?s='+sid
fname=base_dir+'/stock/'+sid+'.csv'
print 'downloading %s form %s'%(sid,url)
urllib.urlretrieve(url,fname)
def download_stock_data_in_period(stock_list,start,end):
base_dir=os.path.dirname(__file__)
for sid in stock_list:
params={'a':start.month-1,'b':start.day,'c':start.year,
'd':end.month-1,'e':end.day,'f':end.year,'s':sid}
url=r'http://table.finance.yahoo.com/table.csv?'
qs=urllib.urlencode(params)
url=url+qs
fname=base_dir+'/stock/'+'%s_%d%d%d_%d%d%d.csv'%(
sid,start.year,start.month,start.day,end.year,
end.month,end.day)
print 'downloading %s form %s'%(sid,url)
if urllib.urlopen(url).getcode()==404:
print '%s 不存在'%sid
else:
urllib.urlretrieve(url,fname)
if __name__=='__main__':
stock_list=['300001.sz','300002.sz','123.sz']
#download_stock_data(stock_list)
start=datetime.date(2015,11,17)
end=datetime.date(2015,12,17)
download_stock_data_in_period(stock_list,start,end)
#print os.path.dirname(__file__)
运行结果：
downloading 300001.sz form http://table.finance.yahoo.com/table.csv?a=10&c=2015&b=17&e=17&d=11&f=2015&s=300001.sz
downloading 300002.sz form http://table.finance.yahoo.com/table.csv?a=10&c=2015&b=17&e=17&d=11&f=2015&s=300002.sz
downloading 123.sz form http://table.finance.yahoo.com/table.csv?a=10&c=2015&b=17&e=17&d=11&f=2015&s=123.sz
123.sz 不存在