【CNN：超分：空间-光谱联合：3D卷积】

Spatial and Spectral Joint Super-Resolution Using Convolutional Neural Network

（基于卷积神经网络的空间-光谱联合超分辨）

具有高空间和光谱分辨率的图像已经在许多应用中受益，例如矿物学和监视。然而，由于传感器技术的限制，很难获得这样的图像。最近，已经提出了超分辨率（SR）技术来提高图像的空间或光谱分辨率，例如，提高高光谱图像（HSI）的空间分辨率或提高彩色图像的光谱分辨率（从RGB输入重建HSI）。然而，没有研究试图同时提高空间和光谱分辨率。在本文中，这两种类型的分辨率使用卷积神经网络（CNN）联合改进。具体地，进行两种基于CNN的SR，包括同时在频谱和空间域中进行SR的同时空间-频谱联合SR（SimSSJSR）和顺序地考虑频谱和空间SR的分离空间-频谱联合SR（SepSSJSR）。在所提出的SimSSJSR中，一个完整的3-D CNN被构造来学习一个低空间分辨率多光谱图像（LR-MSI）和相应的高空间分辨率HSI（HR-HSI）之间的端到端映射。在所提出的SepSSJSR中，空间SR网络和频谱SR网络被分别设计，因此根据应用空间SR和频谱SR的顺序，提出了两种不同的框架，即SepSSJSR 1和SepSSJSR 2。此外，最小的绝对偏差，而不是在传统的SR网络的均方误差（MSE），被选为所提出的网络的损失函数。实验结果表明，从不同的传感器模拟图像的SepSSJSR1是最有效的，以提高空间和光谱分辨率的MSI依次进行空间SR之前，光谱SR。此外，对真实的Landsat图像的验证也表明，所提出的SSJSR技术可以充分利用现有的MSI进行基于高分辨率的分析或应用。

INTRODUCTION

使用卫星和机载传感器的遥感感测是用于地球观测的强大和可操作的工具。该技术已广泛应用于植被调查、环境保护、精准农业等领域。随着传感器技术的发展，传感器的光谱分辨率不断提高，从全色传感的几百纳米到高光谱传感的几纳米。然而，由于信噪比（SNR）和时间的限制，在遥感中存在空间和光谱分辨率之间的折衷。
因此，全色传感器产生极高的空间分辨率但低的光谱分辨率。相反，高光谱传感导致非常高的光谱分辨率但低的空间分辨率。在实际应用中，例如，在矿物学、制造和监视中，具有高空间分辨率和高光谱分辨率的图像是有益的。因此，利用信号处理技术提高遥感图像的空间分辨率和光谱分辨率是十分必要的。
在所有基于卫星的遥感系统中，已经获得了许多多光谱数据，例如IKONOS、QuickBird、Geo Eye-1、EOS-Terra、World View、MODIS、SPOT、SkySat、Sentinel-2A、Landsat系列和GF系列。这些多光谱图像（MSI）的空间分辨率低于全色和RGB图像。此外，它们的光谱分辨率远低于高光谱图像（HSI）。在许多应用中，这些成像光谱仪的光谱分辨率和空间分辨率都不能满足精细遥感的要求。因此，为了充分利用现有的多光谱数据进行高分辨率分析或应用，需要空间和光谱联合超分辨率（SR）技术来提高这些多光谱遥感图像的空间和光谱分辨率。
单幅图像空间重建的目标是从一幅低空间分辨率的图像重建出一幅高空间分辨率的图像，它可以突破成像系统固有的空间分辨率的限制，而不需要任何其他先验或辅助信息。单图像空间SR的基本方法是通过非线性插值器，例如双线性和双三次插值[1]，其直接利用相邻像素的信息。然而，这些方法往往导致边缘模糊和振铃效应。在过去的几十年中，彩色图像的SR得到了极大的关注，并且已经开发了许多算法，例如用于自适应图像放大的迭代反投影（IBP）和基于稀疏表示的方法。最近，基于深度学习的方法已被应用于彩色图像的SR，并表现出巨大的优越性。SR卷积神经网络（SRCNN）是SR重建中深度学习的开创性工作，它首先使用双三次插值将低分辨率图像放大到目标大小，然后通过三层卷积网络拟合非线性映射。基于CNN的SR框架已被证明是基于稀疏编码流水线的，根据该流水线，基于稀疏编码的网络（SCN）通过一组稀疏编码子网络来替换映射层。Fast SRCNN通过用去卷积层替换双三次插值来改进SRCNN，以将图像放大到目标大小。通过结合传统稀疏编码的领域专业知识和深度学习的优点，还提出了一种鲁棒的SR方法，以获得更好的结果。高效的子像素CNN 通过卷积层直接在低分辨率图像上提取特征，以生成与原始低分辨率图像大小相同的$r^2$特征图。然后对这些特征图应用子像素卷积层，将特征图像的每个像素的$r^2$通道重新排列成r × r区域，对应于高分辨率图像中的r × r子块，使得H × W × $r^2$大小的特征图像重新排列成大小为rH × rW × 1的高分辨率图像。密集卷积网络（DenseNet）通过将每层的特征馈送到密集块中的所有后续层来连接所有层的特征，也已用于SR问题。用于彩色图像的SR的所有这些CNN可以以逐频带或3频带组的方式直接应用于HSI。然而，由于忽略了相邻频带中的频谱相关性，因此在这样的扩展中经常引起频谱失真。因此，通过使用3-D卷积来探索相邻像素的空间背景和相邻频带的光谱相关性两者中的信息，针对HSI的空间SR构建了3-D全CNN（3D-FCNN）。
高光谱分辨率图像，即，HSI对许多应用都是有益的。然而，市售高光谱成像相机通常是昂贵的。因此，在过去的十年中，谱SR也得到了广泛的关注。例如，Nguyen等人应用径向基函数（RBF）网络来模拟白平衡RGB值和无照明反射光谱之间的映射。Robles-Kelly使用约束稀疏编码方法从大量光谱反射率分布及其相应的RGB中学习了一组原型，该方法用于光谱重建和照度恢复。Arad和Ben-Shahar使用K-SVD算法从自然场景的大型HSI数据库中学习了高光谱特征及其RGB投影之间的几个字典。然后使用该上采样先验信息来利用正交匹配追踪（OMP）重建频谱。不同相机的不同光谱灵敏度也用于重建不同场景点处的高光谱信号。Akhtar和Mian提出通过在高斯过程下对自然光谱进行建模并在数据处理中使用聚类来从RGB图像中恢复光谱细节。在这些算法中，假设相机光谱响应函数是已知的。最近，采用CNN来直接学习RGB图像与其对应的HSI之间的映射，根据该映射，在没有光谱响应函数的情况下进行光谱SR。例如，Wu等人通过引入基于“A+”的浅层方法改进了中的稀疏编码浅层方法，其可以提供与[22]中相当的性能。Xiong等人提出了一个统一的深度学习框架，用于从频谱欠采样投影中恢复HSI，即HSCNN。这样的HSCNN然后被扩展，假设相机光谱响应函数是已知的。Alvarez-Gila等人采用了基于对抗框架的生成模型来学习输入RGB图像对与其高光谱对应物之间的端到端映射。Yan等人设计了一种多尺度对称级联下采样上采样CNN架构，以联合编码局部和非局部图像信息进行频谱重建。
虽然在过去的几十年中，在空间域或谱域的SR问题已被广泛探讨，他们没有考虑在这两个域的SR一起。因此，在这篇文章中，在频谱和空间域的SR被共同考虑使用基于CNN的框架。具体地，基于深度学习技术从低空间分辨率MSI（LR-MSI）重构高空间分辨率HSI（HR-HSI）。本文提出并比较了两种不同的SR方法，包括同时在谱域和空域进行SR的同时空间-谱联合SR（SimSSJSR）和依次考虑谱域和空域SR的分离空间-谱联合SR（SepSSJSR）。在所提出的SimSSJSR中，构建了一个完整的3-D CNN来学习LR-MSI和HR-HSI之间的端到端映射。在所提出的SepSSJSR中，空间SR网络和光谱SR网络被分开设计，因此根据光谱SR和空间SR的应用顺序，提出了SepSSJSR的两个不同的框架，即SepSSJSR 1和SepSSJSR 2。在空间SR中，子像素卷积层首先用于空间上采样，而不是传统的双三次插值，然后CNN进一步用于微调频谱失真，而全三维CNN直接设计用于频谱SR。最后，从ROSIS和AVIRIS传感器的基准数据集进行了广泛的实验，比较三个建议的基于CNN的SSJSR的战略。
综上所述，本文的主要贡献可以概括如下。
1)首次在一个框架中同时提高了空间分辨率和光谱分辨率。注意，通过使用所提出的框架，这些多光谱遥感图像的空间和光谱分辨率可以一起提高，这可以充分利用可用的多光谱数据进行高分辨率的分析或应用。
2)针对SSJSR提出并构建了两种不同类型的基于CNN的框架（三种特定的基于CNN的网络），即，SimSSJSR和SepSSJSR。
3)从ROSIS和AVIRIS传感器的基准数据集进行了广泛的实验，比较提出的三个基于CNN的SSJSR策略和不同的参数，这些基于CNN的SR进行了讨论。此外，实验进行了分类应用程序和真实的的Landsat图像，以说明所提出的SSJSR的优越性。

PROPOSED METHODS

SimSSJSR

通常，LR-MSI可以被视为在光谱和空间维度两者中的HR-HSI的下采样版本。设X ∈$R^{d\times h\times w}$表示一个LR-MSI，其中d是谱带数，h是图像高度，w是图像宽度。其对应的HR-HSI表示为Y ∈$R^{D\times H\times W}$，其中D是谱带数，H是图像高度，W是图像宽度。在不失一般性的情况下，H = c·h，W = c·w，其中c是空间比例因子，并且d <$D^1$。因此，SSJSR旨在找到映射函数F以恢复HR-HSI Y^ ∈ $R^{D\times H\times W}$
深度神经网络（DNN）已被广泛用于从输入估计未知，例如，在SR问题中估计高分辨率图像或在分类问题中预测类别标签。因此，它可以直接用于找到LR-MSI和HR-HSI之间的端到端映射。通常，使用DNN的SimSSJSR的问题可以用公式表示为
在本文中，一个完整的3-D CNN首先构造直接学习端到端之间的映射LR-MSI和HR-HSI，通过其中SR在频谱和空间维度同时进行。
所提出的SimSSJSR的结构如图1所示。它包含用于从LR-MSI中提取空间-光谱特征的几个卷积层和用于重建HR-HSI的一个子像素卷积层。为了充分利用LR-MSI的空间-光谱特征，通过在一层中堆叠数十个3-D卷积核来采用3-D卷积。当这些3-D卷积层顺序连接时，应该使用一个额外的固定维度进行3-D卷积，以同时处理来自多个特征立方体的这些输入。因此，3-D卷积核被定义为W ∈$R^4$，大小为D_c X D_x X D_y X D_z，其中额外的第四维Dc表示卷积层中的核的数量。假设第i个卷积层的输入（表示为“Conv_i”）被定义为I_i ∈ $R^4$，其大小为D_i × $D^{(I)i}$_x × $D^{(I)i}$_y × $D^{(I)i}$_z。不失一般性，如果LR-MSI图像立方体被馈送作为输入，则D₀ = d。结果，第i个卷积层中的3-D卷积表示为
除了最后一个卷积层之外，在每个卷积层之后添加参数化整流线性单元（ReLU）层，其使用“ReLU”激活函数来自适应地学习整流器的参数。注意，对于最后一个卷积层，采用子像素卷积层fsp而不是ReLU层来将LR特征图转换为HR图像Y^
表I中列出了不同卷积层和“ReLU”层的大小。在所提出的SimSSJSR中，将1 × d × 64 × 64的子图像立方体馈送到网络以保持网络处于合理的规模，其中64 × 64表示空间像素，d是取决于获取LR-MSI图像的传感器的光谱维度。在第一层“Conv_1”中，将大小为3 × 3 × 3的D个不同卷积核应用于输入，以生成大小为d × 64 × 64的D个特征图。在“Relu_1”之后，添加转置层以调整当前输出的维度。然后，从“Conv_2”到“Conv_n-1”的层依次应用64个大小为3 × 3 × 3的不同卷积核，以生成64个大小为D × 64 × 64的更深特征图。在层“Conv_n”中，使用大小为3 × 1 × 1的c2个不同卷积核来生成大小为D × 64 × 64的c2个特征图。最后，采用子像素卷积层用于c尺度空间SR，产生尺寸为D × 64 c × 64 c的输出图像Y^。
为了训练所提出的SimSSJSR，必须定义测量Y^和Y之间的差异的损失函数。传统的均方误差（MSE）测量l₂-范数是大得多的离群值的情况下相比，由l₁-范数测量的最小绝对偏差。因此，基于MSE的损失函数可以尝试根据这些异常值来调整模型。相反，基于l₁范数的损失函数对离群值更鲁棒，这对于训练网络特别有益。本文采用了基于l₁范数的损失函数

其中，N是批处理大小，表示建议的SSJSR中的参数以批处理模式更新。所提出的SimSSJSR的训练过程总结在算法1中。一旦网络经过良好训练，它就可以直接用于光谱和空间维度上的LR-MSI的SR。

SepSSJSR

HR-HSI到LR-MSI的下采样可以分为两个步骤。首先，高空间分辨率MSI（HR-MSI）在频谱维度上从HR-HSI进行频谱下采样，其公式为
其中P ∈ $R^{d\times H\times W}$表示HR-MSI，S ∈$R^{D\times d}$表示多光谱成像传感器的光谱响应函数。然后，LR-MSI可以被视为HR-MSI的空间下采样版本，其被公式化为
其中G ∈ $R^{c\times c}$是具有核大小c的高斯滤波器，并且down_c()表示具有因子c的下采样算子。相应地，LR-MSI的SSJSR也可以在两个顺序步骤中进行，其中首先将空间SR应用于LR-MSI以估计HR-MSI，然后对HR-MSI进行光谱SR以估计HR-HSI。这样的分离SR问题可以被公式化为
其中F1和F2分别表示HR-MSI的谱SR函数和LR-MSI的空间SR函数。类似于以前的SimSSJSR，这两个SR问题也可以通过DNN来解决。因此，针对HR-MSI的谱SR问题和LR-MSI的空间SR问题构造了两个不同的CNN，并且通过顺序地连接这两个CNN来提出SSJSR，如图2所示。
在提议的SepSSJSR如图2所示。采用空间SR网络学习LR-MSI的空间SR函数
在本文中，空间SR网络由几个卷积层和一个子像素卷积层组成，其中它们的参数在表II中列出。
层“Conv_2”…“Conv_n-1”具有相同的结构，每个层都有32个大小为3 × 3 × 3的不同卷积核。除了最后一个卷积层，每个卷积层后面都有ReLU层作为激活函数。此外，填充用于防止所有这些卷积层中的图像尺寸收缩。类似于SimSSJSR，空间SR网络的输入数据，即，SepSSJSR的输入也设置为1 × d × 64 × 64子图像立方体。填充用于防止图像在所有卷积层中的尺寸收缩。在“Conv_1”层中，在LR-MSI上应用大小为3 × 3 × 3的64个不同卷积核以生成大小为d × 64 × 64的64个特征图。然后层“Conv_2”…“Conv_n-1”依次在前一层的输出上应用大小为3 × 3 × 3的32个不同卷积核，得到大小为d × 64 × 64的32个特征图。“Conv_n”通过应用大小为3 × 3 × 3的c2个不同卷积核来生成大小为d × 64 × 64的c2个特征图。最后，将子像素卷积层应用于c尺度空间SR以生成大小为d × 64 c × 64 c的HR-MSI子图像立方体P^。
在图2中示出的所提出的SepSSJSR中的谱SR网络。被提出来学习谱SR函数，其被公式化为

前n-1个卷积层用于学习HR-HSI中所有带图像的联合特征，并具有“Relu”层。具体来说，层“Conv_1”具有D个大小为3 × 3 × 3的不同卷积核，层“Conv_2”…“Conv_n-1”具有相同的结构，每个层具有64个大小为3 × 3 × 3的不同卷积核。然后使用具有3 × 1 × 1的核大小的最终卷积层来从这些联合特征估计HR-HSI Y的所有频带图像。该光谱SR网络中涉及的参数列于表III中。
在所提出的SepSSJSR中，空间SR网络和光谱SR网络依次训练，这意味着首先训练空间SR，然后训练光谱SR网络。注意到，基于1的损失函数也被用来训练这两个网络。当这两个SR网络训练良好时，所提出的SepSSJSR可以用于直接从LR-MSI重建HR-HSI。在算法2中总结了所提出的SepSSJSR的训练过程。
LR-MSI也可以通过首先空间下采样然后频谱退化从HR-HSI获得。因此，HR-MSI也可以通过首先进行光谱SR然后进行空间SR从LR-MSI重建。SepSSJSR的另一个版本如图3所示。在不失一般性的情况下，我们将SpeSSJSR表示在图2中。作为SpeSSJSR 1和在图3中作为SpeSSJSR 2。SpeSSJSR 2的光谱SR和空间SR网络中涉及的网络参数与SpeSSJSR 1中的网络参数相似。