基于python的气象数据分析_基于python的《Hadoop权威指南》一书中气象数据下载和map reduce化数据处理及其......

文档内容：

1：下载《hadoop权威指南》中的气象数据

2：对下载的气象数据归档整理并读取数据

3：对气象数据进行map reduce进行处理

关键词：《Hadoop权威指南》气象数据 map reduce python matplotlib可视化

一：下载《hadoop权威指南》一书中的气象数据

新建 getdata.py文件， 并加入如下代码：

1 #http://my.oschina.net/chyileon/blog/134915

2 importurllib3 importurllib24 from bs4 importBeautifulSoup5 importre6 importos7 importshutil8

9 defgetdata():10 year = 1901

11 endYear = 1921

12 urlHead = 'http://ftp3.ncdc.noaa.gov/pub/data/noaa/'

13

14 while year