【数据处理进阶之路】---- 利用Python实现Sentinel-2 L1C级影像批量大气校正并另存为Geotiff格式

目录

  • 前言
  • 一、Sentinel-1数据介绍
  • 二、Sentinel-2 L2A级批量化生产
    • 1. 环境配置
      • ① 安装Sen2Cor插件
      • ② 安装GDAL库
    • 2. 代码运行
  • 参考资料

前言

Sentinel-2数据的免费获取无疑为广大遥感、地信等领域的科技工作者提供了强大的数据支撑,然而往往一些项目/工程需要对某一地区进行长时序变化分析,自然也就需要更多景遥感影像支持。为了数据处理的方便,本篇博客主要介绍了利用Python来实现Sentinel-2 L1C级影像批量大气校正并另存为Geotiff格式,而且还可以生成影像的边界范围Shp,以便为后续操作提供便利。

一、Sentinel-1数据介绍

关于Sentinel-2数据各个波段的介绍在网上已有较多的资料,不再过多赘述。此处仅对sentinel-2文件的命名规则进行简单介绍。
sentinel-2文件的命名形式如下:

MMM _ MSIL1C (or L2A) _ YYYYMMDDHHMMSS _ Nxxyy _ ROOO _ Txxxxx _ < Product Discriminator >.SAFE

形式 含义
MMM 任务ID(S2A / S2B)
MSIL1C (or L2A) Level-1C (Level-2A) 产品等级
YYYYMMDDHHMMSS 数据库感应开始时间
Nxxyy 处理基线编号
ROOO 相对轨道编号(R001-R143)
Txxxxx 拼接域编号
< Product Discriminator > 数据开始生产时间
.SAFE 产品格式(欧洲标准存档格式)

例如S2B_MSIL1C_20220715T051659_N0400_R062_T44TQR_20220715T071617.SAFE表示标识Sentinel-2B于2022年07月15日凌晨05:16:59(欧洲时间)获得的Level-1C产品。它是在相对轨道062期间通过Tile 44TQR 获得的,并且用PDGS处理基线04.00处理。(The Payload Data Ground Segment (PDGS) :有效载荷数据地面站 )
再补充一点关于Sentinel-2产品级别的信息:

产品级别 含义
Level-0 原始数据
Level-1A 包含元信息的几何粗校正产品
Level-1B 包含元信息的几何粗校正产品
Level-1C 经正射校正和亚像元级几何精校正后的大气表观反射率产品
Level-2A 主要包含经过过大气校正的大气底层反射率数据

【数据处理进阶之路】---- 利用Python实现Sentinel-2 L1C级影像批量大气校正并另存为Geotiff格式_第1张图片
目前,欧空局(ESA)仅发布了哨兵2号(S2)的L1C级和L2A级多光谱数据(MSI)。如上表所示,Sentinel-2 L1C是经过正射校正和几何精校正的大气表观反射率产品,并没有进行大气校正。L2A级数据主要包含经过大气校正的大气底层反射率数据(Bottom-of-Atmosphere corrected reflectance),由插件Sen2cor生产得到。
作为用户,我们在使用中可以图省事下载L2A级数据,然而欧空局并不会将云量比较大(Sentinel-2 成像自带检测云量的算法)的L1C处理成L2A级产品,尽管多数情况下,我们的确不需要云量过量的产品。但是这也难免会影响基于影像的对某一地区进行长时序的变化分析。
因此,接下来主要介绍一下利用Python实现Sentinel-2 L1C级影像批量大气校正并另存为Geotiff格式,从而生成L2A级产品的生产流程。

二、Sentinel-2 L2A级批量化生产

1. 环境配置

① 安装Sen2Cor插件

ESA提供了一个将L1C级数据转换为L2A级数据的离线软件Sen2Cor,软件下载地址为: http://step.esa.int/main/snap-supported-plugins/sen2cor/

可以看到,网站提供多个版本的Sen2Cor下载,本文选择下载Sen2Cor_v2.10。安装步骤如下:

  1. 将下载的文件放到想要安装的位置并解压;
  2. 解压后双击L2A_Process.bat文件完成软件安装;
  3. 按Win+R打开CMD命令行窗口,输入命令“cd + 软件安装绝对路径”将路径设置到程序存放目录下,输入下列命令查看程序使用说明,程序不报错,即表示安装成功。
“L2A_Process --help”

【数据处理进阶之路】---- 利用Python实现Sentinel-2 L1C级影像批量大气校正并另存为Geotiff格式_第2张图片

② 安装GDAL库

本文主要使用GDAL库读取Sen2Cor所生成的L2A.SAFE文件,并重新写为.tif格式,方便后续处理。(注意GDAL的版本,2.4以下的版本可能不支持)。
这里贴一下GDAL库whl文件的下载链接: https://www.lfd.uci.edu/~gohlke/pythonlibs/#gdal

2. 代码运行

以下为 利用Python实现Sentinel-2 L1C级影像批量大气校正并另存为Geotiff格式的完整代码:

# -*- coding: utf-8 -*-

"""
首先读取Sentinel-2 L1C级产.zip文件,将其解压之后利用Sen2Cor进行大气校正;
之后读取得到的Sentinel-2 L2A级产品,删选波段进行波段合成并转为Geo_tiff文件;
最后利用得到的Geo_tiff文件提取其轮廓范围,生成shapefile文件。
"""

import subprocess
import zipfile
import os
from osgeo import gdal
import os
import numpy as np
from osgeo import gdal, osr, ogr
import glob
import fnmatch
import os

# 第一步:解压下载的Sentinel L1C级产品ZIP文件

# 定义一个解压函数
def unzip_file(zip_file_name, mode='rb'):
    """
    Return a unzipped file name which comes from the zipped file of A Sentinel-2 L1C data
    返回Sentinel-2 L1C级.zip文件解压后的文件名
    zip_file_name   - the zipped file name of A Sentinel-2 L1C data
    mode            - Optional parameter, the mode of the zipped file reader
    """
    # 打开.zip文件
    zip_file = open(zip_file_name, mode)
    # 利用zipfile包解压文件
    zip_fn = zipfile.ZipFile(zip_file)
    # 获取.zip文件的所有子目录名和文件名
    namelist = zip_fn.namelist()
    for item in namelist:
        # 提取.zip文件的子目录及文件,解压在当前文件夹('.'表示当前文件夹)
        zip_fn.extract(item, '.')
    # 关闭.zip文件
    zip_fn.close()
    zip_file.close()
    # 打印解压完成
    print("Congratulations! Unzipping finished!")
    # 返回解压后的文件名(字符串,带.SAFE后缀)
    return namelist[0]

# 第二步 利用Sen2cor.bat插件实现Sentinel L1C级产品大气校正

# Sen2cor.bat文件所在路径
sen2cor_path = r"C:\Users\XJG\.snap\auxdata\Sen2Cor-02.10.01-win64\L2A_Process.bat"
# Sentinel-2 L1C原始数据(.zip格式文件,无需解压)所在目录
origin_dir = r"D:\111111"
# 文件模式
pattern = ".zip"
# 输出目录
output_dir = r"D:\111111"

for in_file in os.listdir(origin_dir):
    # 判断是否是.zip文件
    if pattern in in_file:
        # 获取.zip文件的完整路径
        zip_file_path = os.path.join(origin_dir, in_file)
        # 解压.zip文件,产生.safe格式文件
        safe_in_file_path = unzip_file(zip_file_path)
        # 设置Sen2cor命令行参数,按照原始分辨率处理
        cmd_args = [sen2cor_path, safe_in_file_path, \
                    '--output_dir', output_dir]

        # 打印处理开始的消息
        print("{} processing begin!".format(safe_in_file_path))
        # 传入命令行参数并调用命令行(cmd)执行命令
        subprocess.call(cmd_args)
        # 打印处理完成的消息
        print("{} processing finished!\n".format(safe_in_file_path))

# 打印所有文件处理完成的消息
print("Congratulations! All zipped file finished!")

# 第三步 提取不同分辨率的波段,并进行相同分辨率波段合成,输出为Geo_TIFF文件

def S2tif(filename):
    # 打开栅格数据集
    print(filename)
    root_ds = gdal.Open(filename)
    print(type(root_ds))
    # 返回结果是一个list,list中的每个元素是一个tuple,每个tuple中包含了对数据集的路径,元数据等的描述信息
    # tuple中的第一个元素描述的是数据子集的全路径
    ds_list = root_ds.GetSubDatasets()  # 获取子数据集。该数据以数据集形式存储且以子数据集形式组织

    visual_ds = gdal.Open(ds_list[0][0])  # 打开第1个数据子集的路径。ds_list有4个子集,内部前段是路径,后段是数据信息。
    visual_arr = visual_ds.ReadAsArray()  # 将数据集中的数据读取为ndarray

    # 创建.tif文件
    band_count = visual_ds.RasterCount  # 波段数
    xsize = visual_ds.RasterXSize
    ysize = visual_ds.RasterYSize
    out_tif_name = filename.split(".SAFE")[0] + ".tif"
    driver = gdal.GetDriverByName("GTiff")
    out_tif = driver.Create(out_tif_name, xsize, ysize, band_count, gdal.GDT_Float32)
    out_tif.SetProjection(visual_ds.GetProjection())  # 设置投影坐标
    out_tif.SetGeoTransform(visual_ds.GetGeoTransform())

    for index, band in enumerate(visual_arr):
        band = np.array([band])
        for i in range(len(band[:])):
            # 数据写出
            out_tif.GetRasterBand(index + 1).WriteArray(band[i])  # 将每个波段的数据写入内存,此时没有写入硬盘
    out_tif.FlushCache()  # 最终将数据写入硬盘
    out_tif = None  # 注意必须关闭tif文件

if __name__ == "__main__":
    from osgeo import gdal
    SAFE_Path = (r'D:\111111')
    data_list = glob.glob(SAFE_Path + "\\*.SAFE")

    for i in range(len(data_list)):
        data_path = data_list[i]
        filename = data_path + "\\MTD_MSIL2A.xml"
        S2tif(filename)
        print(data_path + "-----转tif成功")
    print("Congratulations! ----转换结束----")

# 第四步 提取.tif影像的范围轮廓,生成shapefile文件
ogr.RegisterAll()
shape_path = r"D:\111111\shp"  # shape输出位置
if not os.path.exists(shape_path):
    os.mkdir(shape_path)
img_list = fnmatch.filter(os.listdir(origin_dir), '*.tif')
for img in img_list:
    p_img=origin_dir+'/'+img
    outfilename = shape_path+'/'+img[:-4]+".shp"
    dataset = gdal.Open(p_img)
    oDriver = ogr.GetDriverByName('ESRI Shapefile')
    oDS = oDriver.CreateDataSource(outfilename)
    srs = osr.SpatialReference(wkt=dataset.GetProjection())
    geocd = dataset.GetGeoTransform()
    oLayer = oDS.CreateLayer("polygon", srs, ogr.wkbPolygon)
    oDefn = oLayer.GetLayerDefn()
    row = dataset.RasterXSize
    line = dataset.RasterYSize
    geoxmin = geocd[0]
    geoymin = geocd[3]
    geoxmax = geocd[0] + (row) * geocd[1] + (line) * geocd[2]
    geoymax = geocd[3] + (row) * geocd[4] + (line) * geocd[5]
    ring = ogr.Geometry(ogr.wkbLinearRing)
    ring.AddPoint(geoxmin, geoymin)
    ring.AddPoint(geoxmax, geoymin)
    ring.AddPoint(geoxmax, geoymax)
    ring.AddPoint(geoxmin, geoymax)
    ring.CloseRings()
    poly = ogr.Geometry(ogr.wkbPolygon)
    poly.AddGeometry(ring)
    outfeat = ogr.Feature(oDefn)
    outfeat.SetGeometry(poly)
    oLayer.CreateFeature(outfeat)
    outfeat = None
    oDS.Destroy()

    # 打印所有文件处理完成的消息
    print("Congratulations! All file finished!")

具体说明详见代码中的注释。其中需要注意的是,文件的打开方式与其他格式的遥感影像相同,用gdal.Open(filename)即可读入。返回结果是一个list,list中的每个元素是一个tuple,每个tuple中包含了对数据集的路径,元数据等的描述信息。获取其中的子数据集,使用data.GetSubDatasets(),这里面就包含了子数据集的路径,元数据等的描述信息。然后用子数据集的路径打开,读取为ndarry格式。这里第1个子集存储的是10m分辨率的B2, B3, B4, B8这4个波段,如果需要其他波段,就改ds_list[0][0]换别的子集,如ds_list[1][0]是第2个子集的路径,ds_list[1][1]是第2个子集的描述信息。

ds_list = root_ds.GetSubDatasets() # 获取子数据集信息
visual_ds = gdal.Open(ds_list[0][0]) # 打开第1个数据子集的路径。
visual_arr = visual_ds.ReadAsArray() # 将数据集中的数据读取为ndarray

因此,假如要获得20m分辨率的波段集合,只需要修改这一句:

visual_ds = gdal.Open(ds_list[1][0])

==========================================================================
运行成功后就会生成如下文件:
【数据处理进阶之路】---- 利用Python实现Sentinel-2 L1C级影像批量大气校正并另存为Geotiff格式_第3张图片其中,“.zip”文件为所下载的Sentinel-2 L1C级数据,“.SAFE”文件为利用Sen2Cor生成的大气校正后的Sentinel-2 L2A级数据,“.tif”文件为利用GDAL筛选的分辨率为10m的波段合成影像,而“shp”文件夹内即为所生成的影像边界范围矢量文件。可以在envi中打开影像及shp文件,如下:

参考资料

本篇博客在撰写过程中主要参考了以下几位大神的资料,在此拜谢!

  1. 哨兵2号(Sentinel-2)介绍、下载、预处理及批处理
  2. 哨兵2数据‘文件名’详解(吐血整体,仅供参考)
  3. 02-Sentinel-2 L1C级数据bat和Python脚本批量大气校正
  4. Python脚本批量读取哨兵2号(Sentinel2)影像并另存为Geotiff格式

噢耶(o)/!

你可能感兴趣的:(sentinel,python,开发语言)