【残差信息增强：双流卷积神经网络：Pansharpening】

Dual-Stream Convolutional Neural Network With Residual Information Enhancement for Pansharpening

（基于残差信息增强的双流卷积神经网络泛锐化算法）

基于深度学习的泛锐化方法由于其强大的特征表示能力而取得了显著的效果。然而，现有的基于深度学习的泛锐化方法不仅缺乏不同分辨率特征之间的信息交换和共享，而且不能有效地利用不同层次的残差信息。这些缺点可能导致泛锐化图像中的空间信息和光谱信息的损失。为了解决上述问题，我们提出了一种新的双流卷积神经网络与残留信息增强（DSCNN-RIE）的泛锐化。为了解决上述问题，我们提出了一种新的双流卷积神经网络与残留信息增强（DSCNN-RIE）的泛锐化。此外，为了提高网络的学习能力，提高特征提取，RIE策略堆叠不同级别的残差到级联DSICBs的输出。利用源图像的浅层特征信息对提取的特征进行整合，得到最终的泛锐化图像。三个数据集上的实验结果表明，DSCNN-RIE优于其他十个最先进的泛锐化方法在主观和客观的图像质量评价。

介绍

卫星遥感技术在环境监测、农业、土地覆盖分类、道路检测等领域得到了广泛的应用。然而，由于卫星传感器的限制，从单一类型的传感器获得的遥感图像不能同时具有高空间分辨率和高光谱分辨率。要获得高质量的高空间分辨率和高光谱分辨率的遥感图像，除了提高卫星物理成像设备的性能外，图像超分辨率（SR）是一种有效的途径。根据输入图像的数量，遥感图像SR可以分为两类：单图像和多图像SRs。前者是从低分辨率图像重建高分辨率图像。然而，由于有限的先验知识和图像信息，很难从单个低分辨率图像中恢复精细的空间细节。后者旨在从同一场景在不同位置的多个低分辨率图像产生高分辨率图像。然而，这些相同场景的图像很难甚至不可能被捕获。为了克服上述限制，全色锐化是融合低空间分辨率多光谱（MS）图像和高空间分辨率全色（PAN）图像以获得高空间分辨率MS图像的另一种有效且流行的方式。
在过去的几十年中，已经提出了许多泛锐化方法。传统方法可分为三大类：基于成分替换（CS）的方法、基于多分辨率分析（MRA）的方法和基于模型的方法。通常实施基于CS的方法以通过用PAN图像替换低分辨率MS（LRMS）图像的空间分量来获得高分辨率MS（HRMS）图像。代表性的基于CS的方法包括强度-色调-饱和度（IHS）、Gram-Schmidt（GS）光谱锐化和主成分分析（PCA）。然而，由于MS和PAN图像的局部差异，基于CS的方法可能产生严重的光谱失真。基于MRA的方法旨在首先使用多分辨率分解从PAN图像提取空间细节，诸如“à trous”小波变换（ATWT），拉普拉斯金字塔（LP）和抽取小波变换（DWT），然后将获得的空间细节注入上采样的MS频带。它们在光谱保真度方面通常优于基于CS的方法，但可能导致空间失真。已经提出了许多基于模型的技术，例如基于稀疏表示的方法和基于变分模型的方法，以解决全色锐化问题。虽然基于模型的方法可以产生高质量的融合结果，但它们比其他类型的全色锐化方法需要更多的时间。
近年来，深度学习得到了越来越多的应用，并为pansharpening提供了新的解决方案。许多基于深度学习的泛锐化方法已经逐渐提出。Huang等人首先提出了一种新的基于深度神经网络（DNN）的方法，通过从原始MS图像估计高分辨率MS图像来进行泛锐化。为了进一步提高融合图像质量，Masi等人提出了一种基于三层卷积神经网络（CNN）的简单有效的泛锐化方法。为了更好地保留光谱和空间细节，Yang等人通过使用光谱映射技术并在高通域中训练网络来开发PanNet。Wei等人提出了一种泛锐化方法，该方法用于通过深度残差网络学习退化图像和地面实况（GT）图像的关系。Zhang等人介绍了一种用于泛锐化的深度学习网络，即，BDPN，将PAN图像的空间细节逐层注入MS图像。然而，上述所有基于深度学习的方法都是通过使用固定大小的卷积核来提取特征信息，这可能导致诸如图像边缘和纹理信息的空间信息的丢失。为了获得更丰富的空间信息，Yuan等人提出了一种用于泛锐化的多尺度和多深度CNN（MSDCNN）。然而，MSDCNN仅在单一分辨率下应用不同大小的卷积核来提取空间细节。因此，这种方法可能无法充分利用遥感图像的空间细节。一般而言，现有的基于深度学习的全色锐化方法虽然能够获得令人满意的融合效果，但它们不仅忽略了不同分辨率间互补信息的重用，而且没有充分利用不同层次的残差信息，从而导致细节丢失和频谱失真。
为了解决上述限制，提出了一种新的具有残差信息增强的双流CNN（DSCNN-RIE）用于泛锐化，以在两种不同的分辨率下获得MS和PAN图像的丰富空间细节。在网络中，我们构建了一组双流信息互补块（DSICBs），其中每个模块包括一个双流特征提取模块和一个信息交换模块。双流特征提取模块的开发，通过使用不同大小的卷积核在两个不同的分辨率提取各种特征。信息交换模块用于在两种不同分辨率的特征张量之间有效地传递信息。此外，一个RIE策略，以提高网络的学习能力。

贡献

1）提出了一种称为DSCNN-RIE的新型端到端CNN，以实现更好的光谱保真度和特征信息提取。
2）我们设计的DSICB，可以提取更丰富的空间细节的MS和PAN图像和有效地重用不同分辨率的特征信息。
3）我们提出了一种RIE策略，连接不同级别的残差，以增强融合图像的空间信息。

方法

为了获得高质量的遥感图像，DSCNN-RIE提出了有效地预测源图像和高分辨率MS图像之间的关系。与其他用于泛锐化的深度学习方法不同，我们设计了DSCNN-RIE，通过多个DSICB以两种不同的分辨率从MS和PAN图像中捕获特征信息，每个DSICB由双流特征提取模块和信息交换模块组成。根据遥感图像的特点，开发了双流特征提取模块，利用不同大小的卷积核，提取两幅不同分辨率的源图像的空间细节，而不是单一分辨率的源图像。信息交换模块被设计成在DSICB中的低分辨率张量和高分辨率张量之间传递更多互补特征信息。此外，提出了一种基于RIE技术的策略，以提高网络的学习能力和特征提取的有效性。

Overall Architecture of DSCNN-RIE

DSCNN-RIE的整体架构如图1所示。DSCNN-RIE包括三个主要部分：图像预处理、特征提取和特征融合。
1) Image Preprocessing: 为了获得完整的遥感图像结构信息，首先分别使用公式（1）和（2）从LRMS和PAN图像构建具有不同分辨率I₀和I₁的两个新的五波段特征图。
其中↓₂表示尺度为2的下采样算子，↑₂表示尺度为2的上采样算子，concate（·）表示连接多个特征图的算子。
接下来，I_j(j = 0，1)作为输入被馈送到网络中。
2) Feature Extraction: 为了从MS和PAN图像中提取更重要的空间信息，提出了级联DSICBs和RIE的想法，以从I_j捕获更多各种空间细节。特征提取单元描述如下。
1)我们分别使用3 × 3卷积层和激活函数Relu从特征图I_j获得中间特征图$F^0$_j（j = 0，1）。
2)为了从MS和PAN图像获得更多不同的空间信息，$F^0$_j被馈送到五个DSICB的序列中，并且每个DSICB的输出$F^i$_j可以从以下公式获得：
其中$F^i$_j表示两个不同分辨率的特征图，DSICBⁱ(·)表示用于提取源图像的特征的第i个DSICB，并且N表示DSICBs的数量。
3）为了进一步提高网络的学习能力和融合结果的质量，使用RIE策略通过以下公式生成增强特征图EF_j：
其中EF_j表示不同分辨率下的增强特征图，并且RIES（·）是使用RIE策略增强空间信息的复合函数。这里，$F^N$_j表示最后一个DSICB的输出。
4）最后，使用以下公式从EF_j形成高分辨率特征图$HR{F}^0$：

其中⊕表示元素求和运算，SUB（·）表示尺度为2的子像素上采样，包括子像素卷积、3 × 3卷积层和激活函数Relu，如图1所示。
3) Feature Fusion: 为了产生具有高空间分辨率和质量的融合图像，使用来自PAN和上采样LRMS的3 × 3卷积层分别提取空间细节和光谱信息，并依次输入到网络中。整个过程通过以下三个阶段实现。
首先，新的高分辨率特征图HRF¹通过连接HRF⁰和特征图PANF来构建，如下所示：
然后，使用3 × 3卷积层从上采样的LRMS图像获得特征图MSF。为了更好地融合光谱信息，将MSF馈送到网络中以构建特征图HRF²，其可以使用以下公式获得：
最后，我们使用1 × 1卷积层和激活函数tanh从特征图HRF²构建融合HRMS图像。

Dual-Stream Information Complementation Block

受到可以使用不同大小的卷积核从遥感图像中提取各种特征的理论的启发，我们提出了DSICB来提取特征信息。图2说明了DSICB的结构。
如图2所示，我们应用3 × 3、5 × 5和7 × 7大小的卷积核来提取两种不同分辨率（即64 × 64和128 × 128）的空间细节。此外，为了充分利用各种不同分辨率的特征信息，我们在两种分辨率的特征张量之间交换特征信息，以实现互补。整个DSICB由两部分组成：双流特征提取模块和信息交换模块。
1) Dual-Stream Feature Extraction Module: 双流特征提取模块被构造成以不同分辨率利用不同大小的卷积核来捕获更多特征。如图2的左手侧所示，不同分辨率的特征图$F^{i-1}$_j被馈送到第i个DSICB中。采用3 × 3、5 × 5和7 × 7三种卷积滤波器分别提取$F^{i-1}$_j的各种特征。使用不同大小的卷积核获得的结果根据相同的分辨率分别堆叠，然后分别使用1 × 1卷积层减少堆叠结果的维度。随后，通过添加$F^{i-1}$_j来构造中间特征图$I{F}^i$_j，以实现浅层信息的重用。
在算法1中描述了用于构造双流特征提取模块的过程。
2) Information Exchange Module: 为了有效地重用不同分辨率的特征信息，引入了信息交换模块，实现了低分辨率张量和高分辨率张量之间的信息交换，以实现信息的互补。如图2的右侧部分所示，我们首先对特征图$I{F}^i$₀进行上采样，并且以尺度2对特征图$I{F}^i$₁进行下采样。随后，利用3 × 3卷积层分别从上采样的$I{F}^i$₀和下采样的$I{F}^i$₁构建新的中间特征图$NI{F}^i$₀和$NI{F}^i$₁。最后，使用逐元素求和从$I{F}^i$₀和$NI{F}^i$₁获得第i个DSICB的输出$F^i$₀。
通过算法2描述信息交换模块。

RIE Strategy

为了进一步提高网络的学习能力和增强图像细节，提出了RIE策略。该策略的结构如图3所示。
作为该策略的核心思想，不同DSICB的浅层特征图$F^0$_j和输出$F^i$_j之间的差异被堆叠并添加到最后一个DSICB的输出中以增强空间信息。
RIE策略被呈现为算法3。