如何下载NCDC气象数据

Hadoop 权威指南中需要下载NCDC气象数据，下载地址为：  ftp://ftp3.ncdc.noaa.gov/pub/data/noaa/ isd-lite/

但是，我们打开后所有的文件都是.gz格式，而且很多，我们不可能一个一个的去保存下载，

以下为使用python编写的批量下载数据文件的代码

#!/usr/bin/python
#-*- coding: utf-8 -*-

import sys
import os
from ftplib import FTP

#ftp 服务器链接
def ftpconnect():
    ftp_server = 'ftp3.ncdc.noaa.gov'
    username = ''
    password = ''
    ftp=FTP()
    ftp.set_debuglevel(2) #打开调试级别2，显示详细信息
    ftp.connect(ftp_server,21) #连接
    ftp.login(username,password) #登录，如果匿名登录则用空串代替即可
    return ftp

#开始下载文件
def downloadfile():  
    ftp = ftpconnect()    
    #print ftp.getwelcome() #显示ftp服务器欢迎信息
    datapath = "/pub/data/noaa/isd-lite/"
    year=int(sys.argv[1])		#年份循环
    currentyear = year			#当前执行年份
    while year<=int(sys.argv[2]):
        path=datapath+str(year)
        li = ftp.nlst(path)
        
        #创建指定年份的目录
        path = sys.argv[3]+'/'
        dir = str(year)
        new_path = os.path.join(path, dir)
        if not os.path.isdir(new_path):
            os.makedirs(new_path)
            
        for eachFile in li:
            localpaths = eachFile.split("/")
            localpath = localpaths[len(localpaths)-1]
            localpath=new_path + '/'+ str(year) + '--'+localpath#把日期放在最前面，方便排序
            bufsize = 1024 #设置缓冲块大小      
            fp = open(localpath,'wb') #以写模式在本地打开文件
            ftp.retrbinary('RETR ' + eachFile,fp.write,bufsize) #接收服务器上文件并写入本地文件
        year=year+1
    ftp.set_debuglevel(0) #关闭调试
    fp.close()
    ftp.quit() #退出ftp服务器


if __name__=="__main__":
    downloadfile()

将上述代码保存到为.py文件

cmd下运行 py文件，上述代码接收输入参数

运行命令为：

python.exe ncdc_download.py 1901 2014 weatherdata

python.exe                   //python 安装后文件

ncdc_download.py       //上述代码文件

1901   //起始下载年份

2014  //截止下载年份

weatherdata                  //指定的下载目录（要手动自己创建）