02-Sentinel-2 L1C级数据bat和Python脚本批量大气校正
转载自：https://blog.csdn.net/lidahuilidahui/article/details/99947811
02-Sentinel-2 L1C级数据bat和Python脚本批量大气校正
- 前言
- Sentinel-2 L1C数据大气校正方法
- 单个Sentinel-2 L1C数据大气校正
-
- 命令行方式调用Sen2Cor校正
- SNAP中利用Sen2Cor插件校正
-
- Sen2cor插件安装：
- Sentinel-2 L1C数据集批量大气校正
-
- 命令行bat脚本批处理
-
- 低配版命令行bat脚本批处理
- 高配版命令行bat脚本批处理
- Python脚本批处理
- 校正前后对比结果
- 后语
- 参考文献
（原创文章，转载请注明来源，谢谢！）
前言
本文为《SNAP与snappy》专栏第2篇博文。尽管2018年后期后开始，欧空局提供了全球范围的Sentinel-2 L2A级产品，但是在此之前Sentinel-2 L2A的数据只有欧洲范围区域才有L2A级产品。此外，博主发现欧空局似乎不会将云量比较大（Sentinel-2 成像自带检测云量的算法）的L1C处理成L2A级产品，尽管多数情况下，我们的确不需要云量过量的产品。另外，之前，看到中科院遥感卫星地面站陈甫同志的一篇文章，提到欧空局发布的Sentinlel-2 L2A级产品可能存在一些问题，至于是不是这样，很难判断。不管怎样，使用Sentinel-2数据还是有必要知道一下L2A产品的生成方法。
Sentinel-2 L1C数据大气校正方法
Sentinel- 2L1C级数据是欧空局直接提供给我们可以下载的数据。其大气校正用的大多数是欧空局自身提供的开源大气校正插件Sen2Cor，它是Sentinel-2 L2A产品生成和格式化处理器。
Sen2cor对Sentinel-2 L1C级大气输入数据进行大气、地形和卷云校正。Sen2Cor创建底部大气，可选地形和卷云校正反射图像;此外，还会创建气溶胶光学厚度，水汽，场景分类地图和带有质量指标性质的云和雪概率掩膜图像。其输出的产品格式和L1C级用户产品格式相同:JPEG 2000格式图像，三种不同的分辨率，60、20和10 m。
在大气校正前，希望你一些能对Sentinel-2 L1C数据有些基本认识：
Sentinel-2 L1C级产品标准产品覆盖范围为100平方公里，为经过UTM/WGS84投影正射影像组成。L1C级产品影像在正射校正时使用数字高程模型(DEM)投影至制图坐标下。其为大气层顶部( Top of Atmosphere , TOA)的反射率影像，不过也记录了处理为L1C产品每个像素的辐射测量的相关信息。L1C级产品根据不同光谱波段的分辨率，以10、20和60 m的固定地面采样距离( Ground Sampling Distance ，GSD)重新采样。在Level-1C产品中，像素原点是指影像的左上角。L1C级产品还将包括陆地/水、云掩膜数据和ECMWF数据(臭氧总量、水蒸气总量和平均海平面压力)。
关于Sentinel-2数据各个波段的介绍在网上已有较多的资料，不再过多赘述了，这里粘贴一个：https://blog.csdn.net/qq_41718357/article/details/83536322
下面进入正题。
单个Sentinel-2 L1C数据大气校正
关于Sentinel-2单个数据集的Sen2Cor（目前的版本为V2.8）安装及大气校正教程，网上已有众多教程资料。
L1C数据经过Sen2cor校正后的是L2A产品, L2A级产品提供了来自相关L1C级产品的大气底部(Bottom Of Atmosphere , BOA)反射率图像。因此，每个L2A级产品也由100平方公里的地图几何瓦片(UTM/WGS84投影)影像组成。
以Win10系统为例，其它系统操作是类似的。
命令行方式调用Sen2Cor校正
Windows下的命令行方法,比较详细的及校正方法可以参考以下文章：
松果儿 知乎专栏《Sentinel影像》----Sen2Cor （V2.8）——哨兵二号的预处理
Melody sugar知乎专栏《环境遥感学习之路》----【Sentinel-2】（2）：哨兵2号数据预处理
还有上面的csdn博客。
SNAP中利用Sen2Cor插件校正
如果你不喜欢命令行方式校正的，可以添加Sen2Cor,在图形用户界面（GUI）进行校正。利用GUI界面进行校正可以精确地设置各种参数，但其本质还是通过调用Sen2Cor的命令行脚本L2A_Process.bat来做处理的。
Sen2cor插件安装：
打开SNAP后，点击Tools---->Plugins可以查看相关插件信息。
选中Available Plugins,可以看到SNAP提供的Sen2Cor插件 V2.8.0和V2.5.5。勾选前面的勾。
点击install即可非常方便。安装后可以在Optial---->Thematic Land Processing---->Sen2Cor Processor找到Sen2Cor V2.8.0和V2.5.5。需要用哪个就选哪个。
你可能好奇，下载的插件放在哪里了。可以再以下路径找到它们（路径中的红色部分为你的电脑用户名）：
知道这个默认安装路径比较重要，后面需要用到这个路径。
以Sen2Cor V2.8.0为例,对一副Sentinel-2 L1C级数据影像进行大气校正：
点击I/O Parameters选择源数据：
点击Processing Parameters可以看到众多参数：
如果你了解6S大气校正方法的的话，应该能认出一些参数，这里不会介绍具体的算法原理，也不讲具体的参数设置，因为博主这方面也是比较弱，如果你想看这些参数的意义请看帮助（Help)，或者查看Sen2Cor的用户手册。
对于我们来说，一般只需要设置分辨率这个选项就足够了。分辨率有四种选择，分辨率分别是10m, 20m, 60m，All。如果你选择60m,那么大气校正时会将所有波段（包括高于60m的10m和20m的波段）重采样（降采样）为60m的结果；如果你选择的是20m，那么大气校正时会将10m和20m的波段重采样（降采样）为20m，60m的分辨率保持不变；如果你选择的是10m分辨率，原有的10m波段仍是10m波段，此外，20m和60m的波段仍然是20m和60m（如果你想看看是否这样，建议你三个分辨率都试试看）；选All的话，那个会保持原来的L1C数据分辨率（实际效果和选择分辨率为10m的结果差不多）。【一个规律就是原来高分辨率的影像会降采样为低分辨数据】。
这里的分辨率选择的是All，保持原有的L1C分辨率，同时勾选左上角的Display Execution output选项，下方会出现一个黑框（实际上是命令行窗口），以显示校正过程及结果。如下图：
点击右下角的run，就开始大气校正了。运行过程图：
大气校正耗费的时间与你的电脑配置过程有关，大概处理一个数据需要15-30分钟。
处理完成后的示意图：
Sentinel-2 L1C数据集批量大气校正
好了，终于进入主题了，尽管网上也有少量的Sentinel-2
L1C级数据Sen2cor大气校正批处理的教程，然而大多数教程，都是“浅尝辄止”的程度，“知其然而不知其然也”！
命令行bat脚本批处理
首先，你需要知道Sen2Cor这个插件其实主要是用Python代码（核心运算应该是C语言）写。我们先找到L2A_Process.bat的脚本的位置（如果你是用SNAP以插件的方式安装Sen2Cor，那么会出现在下图所示的路径中，红色部分为你的用户名），然后可以用记事本打开L2A_Process.bat的脚本查看它的命令。
选中L2A_Process.bat，点击鼠标右键，选择编辑。
可以看到bat脚本的命令（如果你不懂bat命令的话，请不要改动任何代码，以免bat脚本出错），我不会解释这里bat命令的具体意思，但是我标记了这个bat核心代码(蓝色背景文本)，希望引起你的注意：
实际上，调用的L2A_Process.py文件（Python源代码，不要改动其中的代码）。这个代码位于Sen2Cor文件夹Lib\site-packages\sen2cor文件夹：
这个L2A_Process.py代码也是比较复杂（反复调用了多个python程序），博主也没有完全弄明白，如果你弄明白的话，Please dai dai me！
低配版命令行bat脚本批处理
希望前面操作能让你有一些感性认识。好了，进入正题。仍然以Sen2Cor V2.8.0为例，其相关命令为：
尽管有很多参数命令，但是执行是需要的命令极少。
一般是：L2A_Process.bat <数据集必须是.SAFE为后缀的格式，不能是.zip>
当然在后面还可以添加额外的参数。
整个程序的逻辑非常简单，就是找到输入数据集中的.SAFE（L1C级数据集）然后调用L2A_Process.bat 处理该数据集。
先给出弱化版Sen2Cor_weak.bat的代码：
@echo off
rem 设置脚本标题名为: Sentinel-2A L1C批量大气校正处理bat脚本
title Sentinel-2A L1C批量大气校正处理bat脚本
rem 设置Sen2cor所在目录变量
set "Sen2cor_bin=C:\Users\XXXXXX\.snap\auxdata\Sen2Cor-02.08.00-win64"
rem 设置数据所在目录文件
set "input_dir=G:\test"
rem 设置输出文件夹
set "output_dir=G:\test"
for /d %%i in (%input_dir%\S2*.SAFE ) do (
rem 调用Sen2cor 文件对其做大气处理
%Sen2cor_bin%\L2A_Process.bat %%i --output_dir=%output_dir%
echo "-------------------------------分割线---------------------------------"
)
echo "恭喜！所有相关文件处理完成！"
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
我简单解释一下这个代码：
- rem命令表示该行是注释行；
- echo命令相当于print，显示输出语句；
- set命令用于设置变量；
- for /d %%i in (%input_dir%\S2*.SAFE）表示的是找到以S2开头，以.SAFE后缀结尾的文件夹（/d）。
- %Sen2cor_bin%\L2A_Process.bat %%i --output_dir=%output_dir% 是核心的处理代码，调用L2A_Process.bat脚本处理数据集%%i,%output%表示的是输出文件夹，这里没有设置分辨率参数（–resolution），你可以在这行命令加上。
要是使用上述bat脚本需要作几个调整：
- “Sen2cor_bin=C:\Users\XXXXXX.snap\auxdata\Sen2Cor-02.08.00-win64”（加引号的目的是为了防止路径有空格，命令行不能识别） 需要将等号后面的路径（注意最后面处没有斜杆“\”）修改为你自己Sen2Cor安装的路径
- “input_dir=G:\test” 需要将等号后面的路径（注意最后面处没有斜杆“\”）修改为你的数据集所在路径（注意数据集必须为.SAFE格式）
- “output_dir=G:\test” 如果需要，可以将等号后面的路径（注意最后面处没有斜杆“\”）修改为你要保存校正后的数据集所在目录路径
新建一个.txt文件，然后复制上述代码命令，修改相应三个的路径，确认无误后，给它一个合适的名字，然后把后缀.txt改为.bat（例如博主的Sen2Cor_weak.bat）。
再强调一次，数据集目录下需要是.SAFE格式的文件（如果不是.SAFE文件需要自己解压出来），否则，可能会报错，提示找不到文件。
修改后bat脚本命令后，可以启动Windows PowerShell执行Sen2Cor_weak.bat脚本或者使用命令行（cmd）执行bat脚本。
在输入数据目录打开Windows PowerShell：
注意，在Windows PowerShell运行bat脚本等程序需要在前面添加“.\”。成功运行的效果图：
大概处理一个数据集需要15-30分钟。
如果你想学习更多的bat脚本知识，在网上有众多的教程资料，这里粘贴一个（提前说一下，广告比较多，但是bat的基础内容是比较全的）：
https://www.jb51.net/article/151923.htm
高配版命令行bat脚本批处理
高配版bat代码，处理的数据集是：下载下来默认格式为的.zip格式的Sentinel-2 L1C数据集。但是需要好压这个压缩软件的支持，可以是别的解压软件。注意，这个程序代码只适用于安装有好压这个软件的windows系统电脑。
整个程序的逻辑也是很好懂的，就是找到.zip数据集下的某个.zip文件，然后调用好压提供的命令行工具（HaoZipC.exe）解压生成.SAFE格式的数据，然后调用L2A_Process.bat对其做大气校正。
@echo off
rem 设置脚本标题名为Sentinel-2A L1C批量大气校正处理bat脚本
title Sentinel-2A L1C批量大气校正处理bat脚本
rem 设置好压命令行工具所在目录变量
set "Haozip_bin=E:\Program Files\2345Soft\HaoZip"
rem 设置Sen2cor所在目录变量
set "Sen2cor_bin=C:\Users\lidahui\.snap\auxdata\Sen2Cor-02.08.00-win64"
rem 设置输入文件夹
set "input_dir=G:\test"
rem 设置输出文件夹
set "output_dir=G:\test"
for /r %input_dir% %%i in (S2*.zip ) do (
echo %%i
rem 解压文件部分
"%Haozip_bin%\HaoZipC.exe" x -bd -o%output_dir% %%i
rem 换行并打印一条分割线，分隔解压和大气校正信息
echo.
echo "---------------------------------分割线------------------------------------"
rem 把文件名后缀.zip换为.SAFE(因为Sen2cor只能识别.SAFE格式的文件夹)
echo %%~dpni.SAFE
rem 调用Sen2cor 文件对其做大气处理
%Sen2cor_bin%\L2A_Process.bat %%~dpni.SAFE --output_dir=%output_dir%
rem 换行并打印一条分割线，分隔解压和大气校正信息
echo.
echo "---------------------------------分割线------------------------------------"
)
echo "恭喜！所有相关文件处理完成！"
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
- 23
- 24
- 25
- 26
- 27
- 28
- 29
- 30
- 31
- 32
- 33
如果你装有好压这个软件，可以试下上面的bat脚本。
要是使用上述bat脚本需要作几个调整：
- “Haozip_bin=E:\Program Files\2345Soft\HaoZip”（加引号的目的是为了防止路径有空格，命令行不能识别）需要将该路径（注意最后面处没有斜杆“\”）修改为你安装的好压命令行HaoZipC.exe所在的路径。
- “Sen2cor_bin=C:\Users\XXXXXX.snap\auxdata\Sen2Cor-02.08.00-win64” 需要将等号后面的路径（注意最后面处没有斜杆“\”）修改为你自己的Sen2Cor安装路径
- “input_dir=G:\test” 需要将等号后面的路径（注意最后面处没有斜杆“\”）修改为你的数据集所在路径（注意这次的数据集为.zip格式）
- “output_dir=G:\test” 如果需要，可以将等号后面的路径（注意最后面处没有斜杆“\”）修改为你要保存校正后的数据集所在目录路径。
博主的好压（Haozip）软件命令行工具（HaoZipC.exe）位于：
新建一个.txt文件，然后复制上述代码命令，修改相应四个的路径，确认无误后，给它一个合适的名字，然后把后缀.txt改为.bat（例如博主的Sen2Cor_strong.bat）。
如果你想看HaoZipC.exe的命令，可以在Windows PowerShell下执行“.\HaoZipC.exe -h”。
博主不会介绍HaoZipC.exe的相关命令，如果你还需要帮助，可以看好压网站的命令行命令介绍：http://haozip.2345.cc/help/help11-1.htm
确保输入数据集含有.zip格式的Sentinel-2 L1C数据集文件，如图:
修改后bat脚本命令后，可以在当前数据集路径下启动Windows PowerShell执行Sen2Cor_strong.bat脚本或者使用命令行（cmd）执行bat脚本，执行效果图：
处理后，解压生成的L1C级数据也会存在，大概处理一个数据集需要15-30分钟。
Python脚本批处理
终于到了Python版了，如果不喜欢在命令行下敲命令，又不愿意使用好压（HaoZip）。那个可以考虑一下Python，Python也可以调用命令行工具做处理，并且自动打开，自动关闭。
这个Python脚本程序处理的数据集仍然是：下载下来默认格式为的.zip格式的Sentinel-2 L1C数据集。不需要好压软件的支持，直接用Python的标准库zipfile来解压。
该程序的逻辑和高配版bat脚本是相同的，就是找到.zip数据集下的某个.zip文件，然后调用好压提供的命令行工具（HaoZipC.exe）解压生成.SAFE格式的数据，然后调用L2A_Process.bat对其做大气校正。
Python代码（不知道缩复制过来进有没有问题，最好自己检查一下）如下：
# 使用Python标准库调用Sen2cor命令行命令批量对Sentinel-2 L1C数据进行大气校正
import subprocess
import zipfile
import os
#定义一个解压函数
def unzip_file(zip_file_name, mode='rb'):
"""
Return a unzipped file name which comes from the zipped file of A Sentinel-2 L1C data
返回Sentinel-2 L1C级.zip文件解压后的文件名
zip_file_name - the zipped file name of A Sentinel-2 L1C data
mode - Optional parameter, the mode of the zipped file reader
"""
#打开.zip文件
zip_file = open(zip_file_name, mode)
#利用zipfile包解压文件
zip_fn = zipfile.ZipFile(zip_file)
#获取.zip文件的所有子目录名和文件名
namelist = zip_fn.namelist()
for item in namelist:
#提取.zip文件的子目录及文件，解压在当前文件夹（'.'表示当前文件夹）
zip_fn.extract(item, '.')
#关闭.zip文件
zip_fn.close()
zip_file.close()
#打印解压完成
print("Unzipping finished!")
#返回解压后的文件名（字符串，带.SAFE后缀）
return namelist[0]
#Sen2cor.bat文件所在路径
sen2cor_path = r"C:\Users\XXXXXX\.snap\auxdata\Sen2Cor-02.08.00-win64\L2A_Process.bat"
#Sentinel-2 L1C原始数据（.zip格式文件，无需解压）所在目录
origin_dir = r"G:\test"
#文件模式
pattern = ".zip"
#输出目录
output_dir = r"G:\test"
for in_file in os.listdir(origin_dir):
# 判断是否是.zip文件
if pattern in in_file:
#获取.zip文件的完整路径
zip_file_path = os.path.join(origin_dir, in_file)
#解压.zip文件，产生.safe格式文件
safe_in_file_path = unzip_file(zip_file_path)
#设置Sen2cor命令行参数，按照原始分辨率处理
cmd_args = [sen2cor_path, safe_in_file_path, \
'--output_dir', output_dir]
#打印处理开始的消息
print("{} processing begin!".format(safe_in_file_path))
#传入命令行参数并调用命令行(cmd)执行命令
subprocess.call(cmd_args)
#打印处理完成的消息
print("{} processing finished!\n".format(safe_in_file_path))
#打印所有文件处理完成的消息
print("All zipped file finished!")
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
- 23
- 24
- 25
- 26
- 27
- 28
- 29
- 30
- 31
- 32
- 33
- 34
- 35
- 36
- 37
- 38
- 39
- 40
- 41
- 42
- 43
- 44
- 45
- 46
- 47
- 48
- 49
- 50
- 51
- 52
- 53
- 54
- 55
- 56
- 57
- 58
- 59
我不会解释上面的代码，但我强调一下使用时需要修改的部分，仍然是路径。
- sen2cor_path = r"C:\Users\XXXXXX.snap\auxdata\Sen2Cor-02.08.00-win64\L2A_Process.bat", “”引号内的路径修改为你自己的Sen2Cor安装路径（注意最后面没有斜杆“\”），前面r保留（取消转义字符下同）
- origin_dir = r"G:\test", “”引号内的路径修改你的数据集所在路径（注意最后面没有斜杆“\”，这次的数据集仍为.zip格式），前面r保留
- output_dir = r"G:\test"“”引号内的路径修改为你要保存校正后的数据集所在目录路径（注意最后面没有斜杆“\”），前面r保留
复制上述Python代码，修改对应的路径，命名然后执行上述Python代码，Python会打开一个命令窗口（请不要手动关闭，处理完会自动关闭）执行效果图如下：
处理后，解压生成的L1C级数据也会存在，大概是15-30分钟一个数据集。如果你的数据数量很大，还是要等一段时间的（可以看下电影、电视剧等消磨时间）。
校正前后对比结果
以先前用SNAP中的Sen2cor插件处理好的两个影像为例，先打开Output Product真彩色影像（L2A产品）。鼠标左键单击选择Output Product，再右键单击，选择Open RGB Image Window:
默认就是真彩色合成图，保持默认就行，如果你想看彩红外（假彩色合成图）影像可以下拉选择，False-color Infrared那个选项。点击OK就行。
等待片刻，即可看到真彩色图像，同理可以看到打开L1C级数据如图（注意观察红圈里的数字，这里指示的是哪个数据集）：
可以分隔两个窗口，以同时显示两个数据集，选择Window ----> Tile Horizontally(水平分隔)，注意左下角大红色圈部分选择导航示意图。勾选一下再往下大的两个红色圈（一个是逐像素关联，一个是鼠标指示器关联，即是鼠标箭头），往上一个方框里的A是缩放到全图（All）之意,P是缩放到像素（Pixel）分辨率之意。或者你点下下方的问号"？"可以看到帮助。
点一下红色框的A，缩放至全图：
初看，感觉差别不明显。实则非也！需要看单个像元的比较。下面查看波谱图来进行对比。
利用导航工具（红色圈部分）缩放到某处：
利用工具栏红色圈的大头针（Pin）添加标记点Pin 1（大红圈），如图：
我们需要将左图的大头针复制至右图，先调出大头针管理器（选择View---->Tool Windows---->Pin Manager）：
可以看到下方出现了，Pin Manage窗口，选择右下方的红色圈，将其大头针复制到右图：
勾选要复制的到的数据源，点击OK。
可以看到Pin1成功从左图复制到右图。
好的，只差最后一步了——查看波谱图。
选择Optial---->Spectrum View：
选择下图红色圈的标记，即可以看到左图（其图像边界有浅黄色背影）的Pin1（水体）波谱图。
只需将鼠标按右图点击一下，即可以看到右图（其图像边界有浅黄色背影）Pin1（水体）的波谱图：
可以看到他们之间的数值，乃至曲线趋势都存在明显的区别。因此，无论是对Sentinel-2做任何后续分析处理工作，大气校正都是必要的。建议你再标准的水体光谱曲线对比一下，这里，肯定会有差别（受河流泥沙量、叶绿素等因素影响）。事实，Sen2Cor大气校正的处理效果是很好的。不然，欧空局不会选择它，而且它要对全球用户负责，显然，要经得起检验。
你可以看一下前面提到的知乎专栏《环境遥感学习之路》中关于植被光谱的检验：Melody sugar知乎专栏《环境遥感学习之路》----【Sentinel-2】（2）：哨兵2号数据预处理
后语
可能大气校正的批处理编写的方式，不至一种，博主也只是提供了一些参考的依据。说实话，要对遥感影像做精确的大气校正难度很大，写一个大气校正底层程序更是困难，博主对自主开发底层遥感数据处理程序的人员是非常尊敬的！最后，还是提一句，如果你对SNAP或者snappy感兴趣的话可以加入博主创建的欧空局SNAP处理交流群：665903216（这个群已满人），欧空SNAP处理交流群（二）：1102493346。
参考文献
[1] Sentinel-2 用户手册：https://sentinel.esa.int/documents/247904/685211/Sentinel-2_User_Handbook
[2] 松果儿 知乎专栏《Sentinel影像》----Sen2Cor （V2.8）——哨兵二号的预处理
[3] Melody sugar知乎专栏《环境遥感学习之路》----【Sentinel-2】（2）：哨兵2号数据预处理
[4] shub0829 CSDN博客----哨兵2号（sentinel-2）介绍、下载和预处理、批处理
[5] Sen2Cor V2.8.0的用户手册