基于Python的大区域SPI标准降水指数自动批量化处理

1.引言

         标准化降水指数（SPI）是一个广泛使用的指数，用于描述一系列时间尺度上的气象干旱的特征。但是经过研究发现，目前的处理方法基本都是单点进行计算，缺少多点（大区域）的批量计算过程。因此本博客从气象数据下载，处理成NC格式文件以及依靠climate indices库完成多点的SPI指数计算，并可以在ARCGIS中利用反距离权重生成指数SPI栅格数据。本文有博主整理的完成Python代码资源以及样例数据。

2.SPI原理概述

        SPI计算原理是将某时间尺度(如1、3、6、12个月等)降水量的连续时间序列(最好是长期记录，一般最少30年)看作服从某种概率密度函数分布(如gamma分布)，然后推导出相应的累积概率函数，再通过累积概率函数转换为标准正态分布。转换之后，某时间尺度样本的SPI为：该样本降水量的累积概率所对应的标准正态分布的x轴的值。

        例如：以3个月为时间尺度，使用1981-2010年30年的降水数据。计算2010年1月的SPI值。因为时间尺度是3个月，所以2010年1月的累积降水量被定义为2009年11月-2010年1月期间的总降水量，记作P；使用的时间序列为往年同期的降水量数据，即各年11月-1月的降水。首先按照原理，将时间序列数据假设为满足gamma分布g(x)，然后推导其累积概率函数H(x)，再转换为标准正态分布。然后，查找P对应的累积概率H(P)，然后查找与H(P)相同累积概率的标准正态分布所对应的x轴的值，即为SPI。示意图如下，左图为累积概率H(x)，右图为转换之后的标准正态分布。

图1 从虚线伽马分布到标准正态分布的等概率变换的例子

详细的数学原理请参考博客

3.技术方法

3.1 气象数据下载

        首先，我们需要下载30年某一区域的降水数据。因为长时间序列数据一般来说不太好获取，博主使用的是NASA POWER提供的气象数据，是免费的。

网站：NASA POWER | Data Access Viewer

• 入下图所示，我们选择东北的区域的数据，时间范围为：1992-2022。因为选择的是月度数据，网站只更新到1992-2020，后面2021与2022只能下载日度的数据进行累积后处理。（文尾提供Python代码与样例气象数据，1_merge_daily_precipitation.py）

图2 NASA POWER VIEWER 网站页面

• 下图为博主下载的区域气象数据，格式为csv,打开可以看到。数据其实是按照经度纬度各网点排列的，因为NASA提供的是0.5°×0.5°的分辨率数据，所以整个吉林省为20×12个点。列JAN-DEC为每个月的降水数据。

• 需要注意的是，因为2021与2022为日度数据所以需要进行自己累积计算，算完后合并到1992-2020中即可。

j2022=r"raw_data\jilinday2022.csv"
    weather_table = pd.read_csv(j2022)
    IS_ALL_Month=False
    if IS_ALL_Month:
        out_dic={"PARAMETER":[],"YEAR":[],"LAT":[],"LON":[],"1":[],"2":[],"3":[],"4":[],"5":[],"6":[],"7":[],
            "8":[],"9":[],"10":[],"11":[],"12":[]}
    else:
        out_dic={"PARAMETER":[],"YEAR":[],"LAT":[],"LON":[],"1":[],"2":[],"3":[],"4":[],"5":[],"6":[],"7":[],
            "8":[]}
    
    weather_table=weather_table.set_index(['LAT', 'LON','MO'])    
    for y in (weather_table.index.get_level_values(0).unique()):#纬度方向
        data_y=weather_table[(weather_table.index.get_level_values(0) == y)]
        for x in (data_y.index.get_level_values(1).unique()):#经度方向
            data_yx=data_y[(data_y.index.get_level_values(1) == x)]
            for month in (data_yx.index.get_level_values(2).unique()):
                data_month = data_yx[(data_yx.index.get_level_values(2) == month)]
                out_dic[str(month)]=out_dic[str(month)]+[np.sum(data_month["PRECTOTCORR"].values)]
            #循环日累加
            out_dic["PARAMETER"]=out_dic["PARAMETER"]+["PRECTOTCORR_SUM"]
            out_dic["YEAR"]=out_dic["YEAR"]+[2022]
            out_dic["LAT"]=out_dic["LAT"]+[y]
            out_dic["LON"]=out_dic["LON"]+[x]
    df_out=pd.DataFrame(out_dic)
    df_out.to_csv(r"process_data\jilin2022.csv",index=False)

3.2 安装 climate indices库

       本博客在计算SPI指数时候需要安装climate indices库。

        climate indices 是由James Adams利用Python开发的一个计算各种气象指数，包括SPEI, SPI, PET, PDSI, scPDSI的库，可以使用pip install 来安装该库。

        在cmd 中启动python，导入climate_indices库，如果没提示错误，则表示安装成功。

        同时，在python\Scripts 文件夹中会生成这个process_climate_indices.exe,后面批处理主要依靠这个exe。

注意：如果按照报错，可以使用文尾资源中的lib\climate_indices-py3.8.whl文件按照，这个已经让地理所老师重新编译，适用于window10-11，python3.8环境。 

3.3 转换NC气象格式数据

        因为想要使用climate indices，输入数据必须为nc格式的数据，因此我们必须要将处理得到的xlsx降水数据生成nc文件（2_write_ncfile.py）。

#---netcdf foramt---#
    f_w = nc.Dataset(outpath,'w',format = 'NETCDF4')
    f_w.createDimension('time',times)   
    f_w.createDimension('lat',y_size)   
    f_w.createDimension('lon',x_size)
    ##创建变量。参数依次为：‘变量名称’，‘数据类型’，‘基础维度信息’
    time=f_w.createVariable('time',"S19",('time')) 
    for i in range(times):
        #time[i] = data_serise[i].strftime('%Y-%m-%d')
        time[i] = data_serise[i].strftime('%Y-%m-%d %H:%M:%S')
    time.units = 'times since {0:s}'.format(time[0])
    time.standard_name = 'Time'
    time.axis = 'T' 
    f_w.createVariable('lat',np.float32,('lat'))  
    f_w.createVariable('lon',np.float32,('lon'))
    #t=np.linspace(0,times-1,times,dtype=int)
    lon=np.linspace(min_x,max_x,x_size,dtype=float)
    lat=np.linspace(min_y,max_y,y_size,dtype=float)
    #写入变量time的数据。维度必须与定义的一致。
    #f_w.variables['time'][:]=data_serise#np.array(list_data)#data_serise
    f_w.variables['lon'][:]=lon
    f_w.variables['lat'][:]=lat
    #xarray_data_r=np.transpose(xarray_data,(3,2,0,1))
    #f_w.createVariable( "prcp", np.float32, ('time','lat','lon'),fill_value=fill_value)
    f_w.createVariable( "prcp", np.float32, ('lat','lon',"time"),fill_value=fill_value)
    #f_w.variables["prcp"][:]=xarray_data_r[0]
    f_w.variables["prcp"][:]=xarray_data[:,:,:,0]
    f_w.variables["prcp"].units="millimeter"
    f_w.close

 3.4 运行批处理文件

        看到这一步，我先恭喜大家，数据获取与处理确实不易。下一步就可以运行我们的批处理文件了（3_cal_SPIindex.py）。下面对其中的一些参数进行解释：

变量名称	含义
index	想要运行的指数名称，选择“spi”
periodicity	周期，选择月度“monthly“
netcdf_precip	输入气象数据，nc格式
var_name_precip	字段名称，选择”prcp“
output_file_base	输出的spi的nc结果数据名称
scales	尺度，应该是跟gamma函数有关，选择3
calibration_start_year	开始年份
calibration_end_year	结束年份
multiprocessing	多进程处理，选择all

3.5 转成ArcGIS可以导入的格式

        运行完3.4后，可以生成后缀为nc_spi_gamma_03.nc与nc_spi_pearson_03.nc格式的结果文件，运行4_SPI2xlsx.py文件，可以转成excel文件，导入arcgis结果如下：

4.结果展示

4.1 SPI 点位结果展示

        如下图所示，这是通过我们批处理计算得到的吉林省多点的SPI点状数据：

4.2 生成整个区域面状结果

        这里我们需要在4.1的基础上，结合ArcGIS工具中的Spatial Analyst tools /Interpolation/IDW插值得到插值栅格影像。

        其中分辨率那一栏，可以根据需求自己设置，需要注意的是这里的分辨率单位是°，不是米。插值结果如下：

4.3 写在最后

        完整资源和样例数据地址如下https://download.csdn.net/download/u010329292/88291585：需要的小伙伴可以供下载学习:)