用Python下载美国国家气候数据中心（NCDC）的气候数据

美国国家气候数据中心的官网地址是https://www.ncdc.noaa.gov/

气候数据的下载地址是：

长格式：ftp://ftp.ncdc.noaa.gov/pub/data/noaa/，这种就是《hadoop权威指南》所使用的数据集格式。

短格式：ftp://ftp.ncdc.noaa.gov/pub/data/noaa/isd-lite/

这两个地址是在网上查到的，从官网怎样找到，我没有发现。

浏览器打开这个网址以后，是以年份为目录的目录列表，从1901年开始，一直到今年，2019年。

每个目录里面是形如029070-99999-1901.gz这样的数据，数量不等，年份越晚，文件越多，应当是因为技术越来越发达，数据量也随之增大。

显然，这样的数据是不可能手工下载的，网上也没找到正确的下载地址，写个程序自己下吧。

参考了这篇文档https://blog.csdn.net/LIHUINIHAO/article/details/38315231，做了一些修改。此文档中的地址目前已无效，我将其改为ftp.ncdc.noaa.gov。

在开发环境中运行。

import sys
import os
from ftplib import FTP


#服务器链接
def ftpconnect():
    ftp_server = "ftp.ncdc.noaa.gov"
    usrname = ""
    password = ""
    ftp = FTP()

    ftp.set_debuglevel(2) #打开调试级别2，显示详细信息

    port=21
    time=30
    ftp.connect(ftp_server,port,time)
    ftp.login(usrname,password)    

    return ftp

#开始下载文件
def downloadfile():  
    ftp = ftpconnect()
    #print ftp.getwelcome() #显示ftp服务器欢迎信息
    datapath = "/pub/data/noaa/isd-lite/"

    #起始年份和终止年份，酌情修改
    beginyear = 1934 
    endyear = 1950

    # year=int(sys.argv[1])        #年份循环

    currentyear = beginyear            #当前执行年份
    
    # while year<=int(sys.argv[2]):
    while currentyear <= int(endyear):
        path = datapath + str(currentyear)

        ftp.cwd('/pub/data/noaa/isd-lite/' + str(currentyear)) #

           li = ftp.nlst(path)
        
        #创建指定年份的目录
        # path = sys.argv[3]+'/'
        path = "weatherdata" + '/'
        
        dir = str(currentyear)
        new_path = os.path.join(path, dir)
        if not os.path.isdir(new_path):
            os.makedirs(new_path)
            
        for eachFile in li:
            localpaths = eachFile.split("/")
            localpath = localpaths[len(localpaths)-1]
            # localpath=new_path + '/'+ str(currentyear) + '--'+localpath#把日期放在最前面，方便排序
            localpath=new_path + '/' + localpath #不必用日期排序，第一节是流水号，已自带排序功能
            bufsize = 1024 #设置缓冲块大小      
            fp = open(localpath,'wb') #以写模式在本地打开文件
            ftp.retrbinary('RETR ' + eachFile,fp.write,bufsize) #接收服务器上文件并写入本地文件
        currentyear = currentyear+1
    ftp.set_debuglevel(0) #关闭调试
    # fp.close()
    ftp.quit() #退出ftp服务器
 
 
if __name__=="__main__":
    downloadfile()

 

转载于:https://www.cnblogs.com/Sabre/p/10405654.html