【光谱-空间交互网络:Pansharpening】

Spectral-Spatial Interaction Network for Multispectral Image and Panchromatic Image Fusion

（多光谱图像与全色图像融合的光谱-空间交互网络）

近年来，随着深度学习（DL）的快速发展，越来越多的基于DL的方法被应用于全色锐化。得益于深度学习强大的特征提取能力，基于DL的方法在全色锐化方面取得了最先进的性能。然而，大多数基于DL的方法只是简单地通过拼接来融合多光谱（MS）图像和全色（PAN）图像，不能充分利用MS图像和PAN图像各自的光谱信息和空间信息。为了解决这个问题，我们提出了一个频谱空间相互作用网络（SSIN）的pansharpening。与以往的工作不同，我们分别提取的PAN和MS的功能，然后，反复将光谱和空间信息逐步交互。为了增强光谱-空间信息的融合，我们进一步提出了光谱-空间注意力（SSA）模块，以产生一个更有效的spatial-spectral信息传输的网络。QuickBird，WorldView-4和WorldView-2图像上的大量实验表明，我们的SSIN在客观评估和视觉质量方面均显着优于其他方法。

Introduction

由于遥感卫星成像系统的局限性，难以获得同时具有高空间分辨率和高光谱分辨率的遥感卫星图像。这个问题可以通过改进硬件来缓解。然而，由于卫星产品信噪比的严格限制，这是一项艰巨的任务。为了缓解这个问题，提出了泛锐化技术。全色锐化的主要目的是通过融合低空间分辨率（LR）的多光谱（MS）图像和高空间分辨率（HR）的全色（PAN）图像来生成高空间分辨率（HR）的多光谱（MS）图像，其中包含全色（PAN）图像的空间信息和对应的MS图像的光谱信息。全色锐化作为遥感领域最基础、最具活力的研究课题之一，对作物制图、土地覆盖分类、目标检测等遥感应用有着重要的影响。近年来，随着深度学习在各种计算机视觉任务中的广泛应用，基于DL的泛锐化方法得到了迅速发展。受SRCNN的启发，Masi等人首先尝试使用卷积神经网络（CNN）进行泛锐化，并使用三个卷积层（PNN）的堆栈进行泛锐化，从而实现了最先进的结果。受PNN结果的启发，近年来出现了许多基于深度学习的泛锐化方法。
尽管它们具有不同的结构并且实现期望的效果，但是它们通常未充分利用MS图像中存在的光谱信息和PAN图像中存在的空间信息的优点。它们大多倾向于在网络的开始连接PAN和MS图像，并使用单个网络提取输入特征图，这是简单且易于实现的，但不利于光谱空间信息融合。尽管一些基于DL的方法被设计为多分支结构，并且分别提取输入PAN和MS图像的特征，但它们没有考虑光谱-空间信息的相互作用和影响，这不利于网络中的信息传输和转换。
鉴于上述问题，我们提出了一个光谱-空间相互作用网络的泛锐化。具体地，为了完全提取MS和PAN图像的特征，SSIN被设计为双分支结构，其中空间分支用于从PAN图像提取空间信息，并且光谱分支从MS图像提取光谱信息。受[19]的启发，我们考虑到不同分支之间的信息引导，并设计了一个频谱-空间注意（SSA）模块，以充分提取两个分支中的有利信息。此外，我们引入了一个**信息交互块（IIB）到我们的网络的光谱分支和空间分支的信息交互。此外，我们组装IIB和SSA到一个信息交互组（IIG）**作为我们的网络的基本结构。值得注意的是，我们使用了长跳过连接，将上采样的MS图像直接传递到网络的末端;许多基于DL的方法已经证明了这种方法的有效性。
综上所述，本文的主要贡献如下：
1）提出了一种基于信息交互组的谱-空交互网络（SSIN）进行泛锐化。该网络设计为双分支架构。它独立地从两个分支提取光谱和空间信息，并且重复地相互作用以逐步地合并光谱和空间信息。
2）我们提出的信息交互块（IIB），以提高转换和传输的光谱和空间信息之间的两个分支。由于它是双输入双输出结构，可以高效地嵌入到双分支网络中。
3）我们设计了一个轻量级和有效的频谱空间注意模块，它能够从PAN分支计算空间注意，以指导MS分支。类似地，其计算来自MS分支的频谱注意以引导PAN分支。这样，可以充分利用MS和PAN图像的信息的优点，这有利于不同信息的融合。

Related Work

在过去的几十年里，已经提出了许多泛锐化方法。这些方法分为四类：基于分量替换（CS）的方法、基于多分辨率分析（MRA）的方法、基于变分优化（VO）的方法和基于深度学习（DL）的方法。在基于CS的方法中，LR MS图像被分解成光谱和空间分量，然后LR MS图像的分解的空间分量被直方图匹配的PAN图像替换。最后，通过逆变换获得HR MS图像。几种广为人知的基于CS的方法包括强度-色调-饱和度（IHS）、主成分分析（PCA）、Gram-Schmidt（GS）转换、自适应GS（GSA）、部分替换自适应CS（PRACS）和频带相关空间细节（BDSD）。这些基于CS的方法简单有效，可以直接从PAN图像中提取空间信息。然而，当PAN和MS图像之间的相关性较低时，在全色锐化期间容易发生光谱失真。对于基于MRA的方法，基于MRA的方法通常由三个步骤组成：(1)将上采样的MS图像和PAN图像分解为多个尺度，（2）在每个尺度上进行融合，（3）利用逆变换得到重建图像。基于MRA的方法使用多尺度分解将源图像分解成多个尺度，例如，离散小波变换（DWT）、拉普拉斯金字塔（LP）、广义拉普拉斯金字塔（GLP）和轮廓波变换。这些方法在光谱保真度方面通常上级基于CS的方法。然而，多尺度变换带来了大量的计算，并可能导致空间失真。
为了平衡光谱和空间失真，提出了一些基于变分优化的方法。
基于VO的全色锐化方法将全色锐化过程转化为优化问题。解决问题的关键是能量函数的建立和优化算法的选择。这一类别是在20世纪90年代发展起来的。由于Ballester等人提出了最早的泛锐化变分方法，基于变分的泛锐化方法得到了越来越多的关注和迅速发展。基于模型的方法和基于稀疏的方法是两种代表性的基于VO的方法。尽管基于VO的方法可以产生高质量的融合结果，但优化是耗时的。
近年来，随着基于DL的图像超分辨率的快速发展，提出了许多基于DL的全色锐化方法，极大地提高了全色锐化的性能和效率。Masi等人首先将一个简单的三层CNN引入到泛锐化中。受VDSR、Wei等人的启发。[8]提出了一种具有11个卷积层的深度残差神经网络用于泛锐化。Yang等人提出了一种用于pansharpening的深度网络架构，称为PanNet，它在高通域中训练网络以保留空间结构。为了捕获多尺度详细信息，Yuan等人将多尺度特征提取和残差学习引入CNN以进行泛锐化。这些全色锐化方法在像素级进行处理。与以往的方法不同，Liu等人提出了一种双流融合网络（TFNet），以在特征级融合PAN和MS图像，并从融合的特征重建泛锐化图像。在全色锐化中充分利用梯度特性。Lai等人利用梯度信息来指导全色锐化过程。上述方法简单地将上采样的MS图像和PAN图像连接起来，将其输入到网络中，然后直接学习输入与HRMS图像之间的映射关系，这导致了空间失真。来解决这个问题。Wang等人将多尺度U形CNN集成到pansharpening中，以充分利用多光谱信息。同时探索图像内特征和图像间相关性。Guan等人提出了一种三流结构网络，以充分提取HR PAN图像和LR高光谱图像中编码的有价值信息。
如上所述，尽管大多数当前基于DL的方法已经显著提高了融合性能，但是它们没有探索MS和PAN图像的优势信息。与上述方法不同的是，我们在双分支结构的基础上考虑了光谱-空间信息的相互作用和影响。我们在SSA模块中使用空间注意力和光谱注意力机制，以充分利用MS和PAN图像的有利信息。

Proposed Method

在本节中，将详细描述SSIN的实现细节，包括总体架构、信息交互块（IIB）、频谱空间注意（SSA）模块和信息融合（IF）模块。我们首先介绍网络的总体结构，然后依次介绍其他网络组件。

Network Architecture

图1显示了SSIN的网络架构，它由三个主要部分组成：光谱-空间信息提取、光谱-空间信息交互和空间-光谱信息融合。具体来说，我们使用单个卷积层来提取信息，然后堆叠信息交互组（IIG）来实现信息交互。最后，我们使用IF模块来融合光谱和空间信息。输入LRMS图像和PAN图像记为I_MS∈$R^{h\times w\times c}$，I_PAN∈$R^{H\times W\times 1}$。首先通过单个卷积层分别提取光谱和空间信息。
然后，将提取的光谱和空间信息馈送到一系列IIG中以实现光谱-空间信息交互，其可以被公式化为如下：
受[47]的启发，我们级联所有这些IIG以充分利用在不同阶段交互的信息。然后，由每个IIG提取的光谱和空间信息被级联并馈送到信息融合模块以融合光谱-空间信息。同时，我们将光谱信息$I^0$_spe和空间信息$I^0$_spa输入中频模块，以保持原始信息集中。最后，为了保持光谱信息的完整性，我们添加上采样的LRMS图像的融合信息形成全局残差学习。该过程可以表示为：

Information Interaction Group

图2示出了IIG的网络架构，其由IIB、SSA和残差信道注意块（RCAB）构建。在IIG中，SSA位于两个IIB的中间，并通过每个分支中的两个级联RCAB连接，其可以公式如下：

Information Interaction Block

IIB的主要功能是实现SSIN中的信息交互。如图3所示，我们首先通过具有3 × 3核大小的卷积层提取输入频谱分支特征的频谱信息，然后将提取的频谱信息与输入空间分支特征级联，并进一步使用1 × 1卷积层更新空间信息。注意，我们将输入的空间分支特征添加到更新的空间信息以实现局部残差学习。
同时，我们使用卷积层提取空间分支的空间信息，然后将其与频谱分支特征的输入级联，但不同的是，我们提取的空间分支输出端口的空间信息。以这种方式，更新的空间信息可以用于引导光谱信息更新。总之，信息交互块可以被公式化为：

Spectral-Spatial Attention Module

为了充分利用频谱分支和空间分支的优势信息，设计了一个轻量级有效的频谱空间注意（SSA）模块来指导频谱空间信息的融合。我们分别从空间和光谱的分支计算空间和光谱的注意力。然后，我们将原始特征与来自另一个分支的注意力图相乘，以传递相应的信息。最后，我们在每个分支中添加具有上述加权特征的原始特征，以保持原始信息集中。SSA的示意图如图4所示。
与[50]类似，我们使用全局平均池化和1D卷积来实现轻量级和有效的频谱注意力。频谱注意力w_spe ∈ $R^{1\times 1\times B}$的权重可以计算为：
对于空间注意力，我们使用1 × 1卷积代替最大池化来生成空间注意力映射w_spa∈$R^{H\times W\times 1}$。它可以被公式化为：
总而言之，频谱-空间注意力模块可以被公式化为：

其中，⊗表示与Pytorch的自动广播机制的逐元素乘法。

Information Fusion Module

信息融合（IF）模块的主要目的是融合相互作用的光谱-空间信息以重建HR-MS图像I_SRMS。IF的示意图如图5所示。
为了充分利用在不同阶段相互作用的信息，我们将每个分支中的每个IIG提取的光谱和空间信息的级联作为输入。首先，将级联输入[$I^1$_spe，· · ·，$I^N$_spe] ∈$R^{H\times W\times NB}$和[$I^1$_spa，· · ·，$I^N$_spa]∈$R^{H\times W\times NB}$馈送到1 × 1卷积以压缩通道数目，然后将压缩的信息与其初始提取的光谱$I^0$_spe和空间$I^0$_spa信息相加以分别生成特征图F_spe ∈$R^{H\times W\times B}$和F_spa ∈ $R^{H\times W\times B}$。接下来，我们将每个分支中的特征图连接起来以生成F_fuse ∈ $R^{H\times W\times B}$，并再次将1 × 1卷积用于挤压通道。该过程可以描述为：

受[51]的启发，我们在IF的末尾采用像素注意力（PA）块来合并光谱和空间信息，它由两个卷积层和它们之间的PA层组成。PA获得注意力图，并且只经过1×1卷积和Sigmoid函数，然后将其用于对输入特征进行加权。它可以以较低的参数成本有效地改善最终性能，这在第4.4节的消融研究中得到了验证。我们将所提出的PA表示为f_PA(·)，Ffuse被进一步馈送到PA块中：
最后，为了匹配输入MS图像的通道号，使用卷积层来生成最终融合结果：