【无监督自适应：元学习：Pansharpening】

MetaPan: Unsupervised Adaptation With Meta-Learning for Multispectral Pansharpening

（MetaPan：用于多光谱全色锐化的无监督自适应元学习）

多光谱图像全色锐化的目的是利用全色图像的空间细节来提高多光谱图像的空间分辨率。由于模拟数据和真实案例之间存在先验知识差距，基于无监督学习的方法越来越受到人们的关注。然而，一些关键的超参数，如网络的初始权重，是手动设置的，这显着影响融合性能。为了解决这个问题，我们提出了一种新的无监督自适应方法与元学习的MS pansharpening(MetaPan)，其中元学习的目的是自动学习的初始参数的三流融合网络（TSFNet）的无监督自适应学习（UAL）。具体地，TSFNet由PAN流、MS流和融合流组成，其中融合流隐式地利用输入图像对的域特定知识，而其他两个流显式地将空间细节和光谱信息注入到融合流中。MetaPan由预训练阶段、元学习阶段和UAL阶段组成。在预训练阶段，TSFNet在模拟地面实况的监督下进行训练，使得它对所有图像对都是通用的。然后，元学习的过程针对网络参数的内部表示进行优化，该内部表示可以仅通过几个步骤来适应具有UAL的特定图像对。最后，学习的内部表示被微调为具有UAL的真实世界图像对（测试图像对）。

介绍

卫星图像有广泛的应用，如气象学，海洋学和农业。遥感图像的准确性对于这些应用至关重要。有两个重要的性质，即，空间分辨率和光谱分辨率，指的是采集图像的质量。然而，由于严格的信噪比，直接获取在空间域和光谱域都具有高分辨率的图像被证明是一项艰巨的任务。因此，大量的对地观测卫星获得单波段全色（PAN）图像和多光谱（MS）图像，其中前者具有高空间分辨率（HR），而后者的波段数是前者的数倍。然后通过利用信号处理技术，即MS全色锐化，获得高质量的MS图像（MSI）。
在过去的几十年中，大量的研究工作致力于开发MS全色锐化方法。大多数传统方法属于四类：1）基于组件替代（CS）的方法；2）基于多分辨率分析（MRA）的方法；3）混合方法；4）基于模型的技术。CS方法首先将MSI变换到另一个域，然后用PAN图像（PANI）代替MSI的空间信息，这可以被称为光谱方法。MRA方法也被称为空间方法，因为它们在原始空间域中分解PANI。混合方法在变换域中应用MRA分解。第四类包括基于模型的方法，其将全色锐化任务公式化为优化问题。
近年来，基于卷积神经网络（CNN）的方法已经涌入pansharpening领域。PNN是探索使用卷积网络进行全色锐化的第一次尝试。PNN和大多数追随者在模拟数据集上训练他们的网络，这可能会阻碍网络在真实世界数据上的性能。此外，基于目标的适应办法，目标自适应CNN（TACNN）和跨尺度TACNN（CTACNN）已经被提出来解决MS泛锐化问题。虽然这些方法可以使其网络参数适应目标图像对，但它们依赖于模拟地面实况的指导，导致在真实的应用中容量有限。虽然这些方法可以使其网络参数适应目标图像对，但它们依赖于模拟地面实况的指导，导致在真实的应用中容量有限。
相比之下，基于无监督学习的方法不需要监督，并且在MS pansharpening领域引起了越来越多的兴趣。Qu等人提出了一种基于自注意机制的无监督泛锐化方法，以估计关于不同空间细节的提取和注入函数。Ma等人提出了一种新的无监督框架，无需监督用于泛锐化的模拟数据。Zhou等人提出了一种无监督的生成对抗框架，该框架从全尺寸图像中学习，而无需地面事实。然而，这些方法未能利用图像特定的信息。此外，无监督学习方法的设计具有挑战性，因为它们经常导致过拟合并产生昂贵的计算成本。
幸运的是，元学习作为机器学习的一个分支，可以自动设计无监督学习算法。无监督学习的关键组成部分之一是对最终结果有重大影响的神经网络的初始参数。在这篇论文中，我们将模拟和真实数据分别作为元学习框架中的基础和新类，并提出使用元学习学习内部表示（初始参数）。利用内部表示，网络将通过无监督自适应在目标（真实世界）图像对上具有最大性能。此外，提出了一个三流网络，以利用特定的知识，从PANI和MSI明确。

贡献

1)提出了一种新的基于元学习的无监督自适应MS全色锐化方法(MetaPan)。据我们所知，这是第一个MS全色工作与元学习。
2)我们设计了一个三流融合网络（TSFNet），获得空间细节和光谱信息的PAN和MS流，分别，并明确地将它们合并到融合流通过引导门。

方法

Problem Formulation

形式上，锐化的目的是产生HR-MSI，即，X ∈ $R^{H\times W\times B}$，其空间分辨率与PANI的P ∈ $R^{H\times W}$相同，光谱分辨率与MSI的M ∈ $R^{h\times w\times B}$相同。通常，对于许多卫星，高度H和宽度W是w和h的四倍，例如，IKONOS和QuickBird。此外，我们将估计的HR-MS数据表示为^X ={ ^X_b} ^B _b=1。

MetaPan

提出的MetaPan由预训练阶段，元学习阶段，和UAL阶段。图1示出了我们的方法的整体过程。

首先，在降低分辨率（RR）的模拟训练集的监督下预训练网络f_θ0。然后，我们考虑使用元学习范式从模拟数据中学习网络的内部表示θ，以便它可以快速适应现实世界图像对上具有UAL的给定图像对。最后，内部表示被微调到具有针对RR和全分辨率（FR）的测试（真实世界）集的每个图像对的UAL的目标图像对。
1) Pretraining Stage： 预训练是基于深度学习的MS泛锐化方法的核心技术之一。一些研究人员希望创建可转移到下游处理的“通用表征”。“预训练然后微调”范例已经应用于MS全色锐化领域。在这项工作中，我们在训练数据集上预训练网络f_θ0。在监督下，在我们的观察中，预训练的损失快速稳定地收敛。更具体地，预训练损失函数如下：

2) Meta-Learning Stage： 在这论文中，元学习旨在通过训练一个网络来提高性能，该网络可以通过几次训练迭代来快速适应新数据。具体而言，UAL中使用的TSFNet的初始参数将通过元学习获得。图1（b）说明了元学习范式，它有两个循环。内环得到自适应网络f_θ’关于UAL。UAL的详细描述在MetaPan的第三阶段中给出。与此相反，外环为内环搜索最佳初始参数θ，使得UAL在微调f_θ’时具有最大性能。
由于元学习范式需要根据基础事实优化内部表示，因此我们在元学习阶段使用根据Wald协议模拟的数据。注意元学习学习的是内部表示θ而不是微调后的θ’。因此，模拟数据的先验不会妨碍网络对真实世界数据的适应。初始参数θ更新如下：
3) UAL Stage： 由于无数的成像场景和图像特定的感应偏差可以是高度变化的。为了利用特定于图像的先验，TSFNet应该适应具有UAL的真实世界图像对。请注意，测试集中的所有图像在元训练阶段都是不可见的。此外，fθ到目标图像对的适配不需要任何模拟的地面实况。具体来说，我们对TSFNet进行微调，得到一个图像特定的网络f_θ’i，然后推断最终的HR-MSI。适应目标如下：
目标的第一项保留融合的HR-MSI与PANI之间的空间一致性，而第二项保证预测的HR-MSI的光谱信息与MSI的光谱信息相同。在我们的方法中，更新后的参数θ’_i使用几个梯度下降更新来计算。

Three-Stream Fusion Network

对于全色锐化任务，一种直接的方法是沿着光谱维度连接观察到的图像M和P，并将它们馈送到适当的深度融合网络中。级联使得能够利用PANI和MSI之间的相关性。然而，它不能显式地利用来自每个输入的特定知识。
为了显式地充分利用特定于域的信息，我们引入了TSFNet（如图2所示），其利用三个并行流，即PAN流、MS流和融合流，以分别将PANI、MSI和级联图像映射到深度特征中。
然后PANI和MSI的域特定信息通过门流入融合流。PAN和MS流具有由卷积层（Conv）和L-1个堆叠的ResBlocks组成的L个级别。
融合流具有附加的转置卷积层（TrConv）以重构期望的HR-MSI。引导门(Guided gates)帮助融合流从PAN和MS流选择模态特定信息。这些引导门可以用公式表示如下：
F_P、F_M和F_X分别是PAN、MS和融合流的图像表示；* 表示卷积运算；σ表示Sigmoid函数；W_M、W_M，X、W_P和W_P，X是卷积的权重；b_M和b_P表示卷积的偏差。

结论

在本篇论文中，我们提出了一种新的基于元学习的无监督自适应框架与TSFNet。在元学习阶段，我们的方法学习如何使深度网络适应特定的图像对。此外，TSFNet被设计为明确地利用来自PAN和MSI的具有两个并行流的特定知识。两个数据集上的实验表明，我们的方法在定量指标和定性评价方面的优越性。对于未来的工作，我们将建议MetaPan扩展到其他图像融合领域，如高光谱超分辨率，医学图像融合等。