Spatiotemporal Satellite Image Fusion Using Deep Convolutional Neural Networks总结

一、名词解释

HSLT：high spatial resolution but low temporal resolution，高空间低时间分辨率

LSHT：low spatial resolution but high temporal resolution，低空间高时间分辨率

SR：super-resolution，超分辨率

NLM：nonlinear mapping，非线性映射

LSR：low-spatialresolution，低空间分辨率

二、CNN成功运用于各个方向的原因

1）CNN的深层架构在捕获大规模图像的特征方面更有效;

2）提出快速有效的训练方法，如整形线性单元（ReLU），批量标准化，残差学习等;

3）通过强大的GPU上的并行计算，显着加快了训练速度。

三、本文提出的基于深度学习神经网络的时空融合模型步骤

1）NLM

2）SR

3）图像融合

其中前面五层CNN实现

四、训练阶段

首先学习MODIS（500米）和Landsat（250米）图像之间的NLM模型，然后学习LSR和原始Landsat图像之间的SR模型。

1）非线性映射NLM CNN==>>在MODIS和Landsat图像之间寻找映射关系

首先将Landsat图像的空间分辨率下采样与MODIS图像之间的空间分辨率相似，将Landsat空间分辨率降低10倍。

NLM CNN分为三层，分别是：输入层、三个卷积隐藏层，输出层，三个卷积隐藏层分别为特征提取、NLM和重建，具体结构如下图所示：

 2）超分辨率SR CNN==>>关联LSR Landsat和原始Landsat图像

SR CNN分为三层，分别是：输入LSR Landsat图像、三个卷积隐藏层，输出残差图像，三个卷积隐藏层分别为特征提取、NLM和重建，具体结构如NLM CNN结构类似。

 五、预测阶段==>>采用由高通调制和加权组成的融合模型来充分利用可用信息

首先将先前和预测日期的MODIS图像输入到学习的NLM CNN中获得过渡LSR Landsat图像；接着将其输入融合模型以获得预测日期的LSR Landsat图像；与先前日期的模拟LSR Landsat图像一起，将最后一步中的融合结果输入到学习的SR CNN中以获得过渡LSR Landsat图像；最后将其馈入模型以在预测日期获得最终融合结果。

从过渡图像到LSR Landsat图像的融合模型的实现过程如下图所示：

Mi（i=1，2，3）表示MODIS图像，Ti表示将MODIS图像映射到过渡图像的结果，Li^l表示LSR Landsat图像（通过双三次插值从Landsat图像下采样得到），High-pass modulation表示高通调制方程（该步骤是像素级的），Weighting为加权策略。