【高光谱、多光谱和全色图像融合】

HyperFusion: A Computational Approach for Hyperspectral, Multispectral, and Panchromatic Image Fusion

(超融合:高光谱、多光谱和全色图像融合的计算方法)
高空间分辨率的高光谱图像(HSI)和多光谱图像(MSI)融合是获取高空间分辨率高光谱图像的重要手段。然而,由于MSI有限的空间分辨率,大多数现有方法的空间质量不令人满意。为了进一步提高融合后HSI图像的空间分辨率,同时保持光谱信息,提出了一种新的计算模式HyperFusion,它同时融合HSI、MSI和全色(PAN)图像。为了实现这个目标,我们首先基于物理观察建立两个数据保真度,即HSI和MSI可以被视为融合HSI的降级版本。因此,可以很好地保留HSI和MSI的空间和光谱信息。为了在保持光谱信息的同时有效地将PAN的空间细节转移到融合的HSI中,我们进一步基于结构相似性构造了PAN的先验约束。同时,对系数矩阵施加另一个低秩先验约束,以高空间分辨率准确描述HSI的潜在特征。通过引入上述数据保真度项和先验约束条件,我们最终将目标转化为一个优化问题,并利用交替方向乘子法进行有效求解。在模拟数据集和真实的数据集上进行了全面的实验,以证明HyperFusion在视觉质量和定量分析方面优于其他现有技术。通过植被覆盖指数分析的模拟实验,验证了HyperFusion在遥感应用中的有效性。

介绍

高光谱成像技术能够准确识别景物中的物质,极大地扩展了遥感技术的能力,在地质调查、农作物监测、国防安全等领域发挥着重要作用。当波段数目增加时,由于太阳辐照度有限,散射到高光谱图像(HSI)每个波段上的太阳发射的光子相应减少。因此,HSI的空间分辨率通常较低。与HSI相比,多光谱图像(MSI)具有更少的波段数和更高的空间分辨率。为了获得高空间和光谱分辨率的HSI,HSI和MSI的融合(fusion of HSI and MSI (FHM))是典型的策略
近年来,FHM方法大致可分为三类:基于全色锐化方法的扩展、基于模型的方法和基于深度卷积神经网络(CNN)的方法。由于融合全色(PAN)图像和MSI的全色锐化方法已经被成熟地开发,所以存在一些利用现有全色锐化方法的尝试以使它们适于融合HSI和MSI的推广。例如,Chen等人提出了一种解决方案,将HSI的光谱划分为若干个区域,并使用传统的全色锐化技术来融合每个光谱区域中的HSI和MSI。基于模型的方法通过引入一定的先验项来正则化待估计的高分辨率HSI,并通过优化融合模型来估计HSI。这些方法建立融合模型,包括基于空间(光谱)退化机制和先验信息的保真度和正则化项,并利用有效的解来求解这些模型。因此,基于模型的方法可以在空间和光谱质量之间取得良好的平衡,近年来吸引了相当大的研究兴趣。Dong等人提出了一种用于FHM的非负结构化稀疏表示方法,该方法被公式化为利用关于HSI的空间-谱稀疏性的先验知识对谱基和稀疏系数进行联合估计。近年来,一些基于模型的方法从张量的角度建立它们的模型,并利用一些张量分解方法。得益于CNN的发展,基于CNN的深度方法取得了显著的成就。例如,Dian等人通过基于深度CNN的残差学习直接学习图像先验,然后将学习的先验集成到HSI和MSI融合框架中。虽然深度学习融合框架展示了其优势,但需要大量图像来为不同类型的传感器训练专门的深度学习模型,从而牺牲了灵活性。因此,基于神经网络的深层方法不是本文研究的重点。
尽管在过去的几十年中已经研究了多种FHM方法,但是由于以下原因,产生高空间分辨率和良好光谱质量的融合HSI仍然是具有挑战性的问题。
1)由于MSI的空间分辨率还不高,大多数现有的FHM方法的空间质量总是不能令人满意。这种现象可以在图1(b)中观察到。与上采样HSI相比,FHM能提供更好的空间质量。然而,图1(b)的空间细节仍然不能清楚地观察到。
【高光谱、多光谱和全色图像融合】_第1张图片
2)最近,HSI和PAN(FHP)的融合为生成高空间质量的HSI带来了新的见解,如图1(c)所示。然而,FHP总是遭受显著的光谱失真。例如,图1(c)中黄色椭圆标记区域的颜色与图1(e)中参考HSI的颜色明显不同。
3)更一般地,一个超光谱卫星(例如,GF-5)和具有多光谱和PAN仪器的另一卫星(例如,GF-1)能够以相对接近的时间捕获同一场景,证明了同时融合HSI、MSI和PAN(FHMP)生成高空间和光谱质量HSI的可能性和有效性。这种现象可以从图1(b)-(d)的比较中观察到。该方法比FHM方法提供了更多的空间细节,同时比FHP方法更好地保留了光谱信息,使得融合后的HSI在空间和光谱质量之间达到了最佳平衡。
在本研究中,我们提出了一种新的高光谱、多光谱和全色图像融合的计算方法,称为HyperFusion。基于HSI和MSI可以看作是融合后的HSI的退化版本这一事实,我们首先建立了两个数据保真度项,以分别保留HSI和MSI的空间和光谱信息。此外,我们构造了两个先验约束:一个先验约束基于结构相似性从PAN探索,以有效地将PAN的空间细节转移到融合的HSI中,另一个先验约束考虑从融合的HSI分解的系数矩阵应该是低秩的,以用高空间分辨率准确地描述HSI的潜在特征。最后,将上述数据保真度项和先验约束条件结合起来,建立目标融合模型,并采用交替方向乘子法对模型进行有效求解。

贡献

1)我们提出了一种新的同时FHMP模型,该模型可以大大提高融合HSI的空间质量。特别地,我们基于PAN和理想MSI之间的结构相似性设计了有效的先验约束。与其他FHMP方法不同,PAN的这种先验约束不需要PAN和HSI之间的光谱响应转换矢量,从而在通过理想MSI将PAN的高频细节有效注入融合HSI的同时,很好地保留了光谱信息。由于所研究的模型仍然是不适定的,我们进一步根据系数矩阵的低秩性质添加了另一个约束。据我们所知,这种先验约束在FHMP研究中很少被研究。

2)由于在之前的FHMP研究中仅演示了模拟实验,因此我们基于来自GF-5和GF-1卫星的图像融合进行了真实的实验,其中HyperFusion获得了优于其他现有技术的融合结果。通过模拟植被覆盖实验验证了HyperFusion在遥感中的有效性。

相关工作

FHM Methods

近年来,已经提出了大量的FHM方法。这些方法一般分为以下三大类:基于全色锐化方法的扩展、基于模型的方法和基于深度CNN的方法。基于全色锐化方法的扩展主要包括分量替换和多分辨率分析。Gram-Schmidt自适应(GSA)是一种众所周知的全色锐化方法,其可以直接应用于FHM。Selva等人提出了一个框架,以有效地使多分辨率分析适应HSI和MSI融合。对于基于模型的方法,根据光谱和空间退化的机理,建立正则化模型来解决FHM的融合问题。因此,适当的保真度和正则化项对于优化模型的最优解是重要的。Yokoya等人利用基于耦合非负矩阵分解(CNMF)的交替光谱解混法估算端元和丰度矩阵。Simoes e等人提出了一种基于子空间的模糊混合矩阵方法,该方法利用端元提取技术从HSI中获得端元(子空间)矩阵,然后基于不连续HSI的分段平滑特性,引入向量全变分正则化来建立先验项。由于计算是在子空间矩阵中进行的,因此减少了计算成本。由于HSI光谱带之间的高度相关性,3-D图像可以自然地由3-D张量表示。因此,一些研究考虑从张量的角度解决FHM问题。Li等人提出了一种耦合稀疏张量分解方法,该方法将HSI视为3-D张量,并将融合问题重新定义为核心张量和三模字典的估计。Dian等人将MSI分为多个块,并应用学习的聚类结构和系数形成4-D张量。然后将FHM问题表示为一个低张量训练秩正则化优化问题。基于深度CNN的方法构建深度网络,并通过将HSI和MSI馈送到网络中来产生融合的HSI 。Palsson等人为FHM设计了3-D CNN。Zheng等人通过映射初始化和参考HSI之间的残差,将深度残差CNN引入到FHM过程中。Xie等人提出了一个FHM模型,并通过展开迭代算法根据CNN对其进行了有效求解。

FHP Methods

融合HSI和PAN的FHP方法为生成高空间质量的HSI带来了新的思路。该方法主要源自全色锐化方法,并且可以大致分为四类:分量替换、多分辨率分析、变分方法和基于深度CNN的方法。组件替换方法替换组件(例如,光谱变换)。典型的分量替换方法包括遮片模型、非线性强度-色调-饱和度和非线性PCA。在多分辨率分析方法中,PAN的空间细节通过PAN的多尺度分解注入MS,例如广义拉普拉斯金字塔(GLP)方法和形态滤波器。近年来,变分方法通过建立合适的融合模型,在空间质量和光谱质量之间取得了良好的平衡。Ballester等人提出了第一变分法,将上采样MS图像视为高空间分辨率多光谱(HRMS)图像的模糊版本。进一步利用动态梯度稀疏性作为先验来提高空间质量。Fu等人考虑了不同局部面片和频带中的局部梯度约束,从而获得令人满意的融合性能。类似于FHM,基于深度CNN的方法形成了全色锐化的新分支。最新技术包括使用CNN、深度残差学习和多尺度CNN进行全色锐化。然而,FHP比全色锐化更复杂,因为HSI的光谱范围通常比相应的PAN的光谱范围宽得多,而MSI和PAN通常在几乎相同的光谱范围内获得。因此,显著的光谱失真是不可避免的。

FHMP Methods

正如我们所知,只有少数研究集中在FHMP方法。Yokoya等人首次将CNMF应用于FHMP。Bendoumi和Benlefki提出了一种无约束最小二乘解混合格式。Arablouei 考虑了同一场景下任意多幅多波段图像的融合问题,将融合问题转化为降维线性逆问题。在这些方法中,必然需要表示从HSI的光谱响应函数到PAN的光谱响应函数的转换的光谱响应转换矢量。然而,由于HSI和PAN的空间分辨率差异较大,由低空间分辨率的HSI和PAN生成的光谱响应变换矢量的估计往往不准确,导致融合后的HSI不可避免地会出现光谱失真。

方法

在下文中,我们首先介绍我们研究的一些注释。我们把一个尺寸为Wh × Hh × Lh的HSI表示为矩阵H ∈$R^{Wh × Hh × Lh},这意味着HSI有Lh个带,每个带有Wh ×Hh个像素。将大小为Wm × Hm × Lm的MSI和大小为Wp × Hp的PAN分别表示为矩阵M∈ R L m × W m H m R^{Lm×WmHm} RLm×WmHm 和P∈ R 1 × W p H p R^{1×WpHp} R1×WpHp。Lm表示MSI中的条带数。Wm × Hm和Wp × Hp分别是MSI和PAN的空间分辨率。我们将高空间分辨率和高光谱分辨率的融合HSI表示为矩阵F ∈ R L h × W p H p R^{Lh× WpHp} RLh×WpHp。PAN与HSI之间的分辨率为(Wp/Wh),PAN与MSI之间的分辨率为(Wp/Wm)。所提出的方法的示意图如图2所示。
【高光谱、多光谱和全色图像融合】_第2张图片

Proposed Model

1) Construction of Data Fidelity Terms:
HSI H可视为融合HSI F的空间退化版本,如下所示【高光谱、多光谱和全色图像融合】_第3张图片
MSI M可以被看作是融合HSI F在模糊和空间谱下采样之后的退化版本【高光谱、多光谱和全色图像融合】_第4张图片
2) Construction of Prior Constraints:
从低维图像H、MP恢复高维HSI F是不适定问题。因此,为了精确地恢复F,需要适当的先验。
首先,一些先前的研究利用估计的光谱响应变换向量Rp ∈ R 1 × L h R^{1×Lh} R1×Lh来构建PAN P和融合的HSI F之间的关系为
请添加图片描述
然而,由于PAN和HSI之间的分辨率比较大,由PAN P和HSI H估计的Rp总是不准确的。因此,(3)将不被严格遵守,导致一些谱失真。
为了避免这一缺点,我们关注图像的高通滤波分量的一致性,以提高空间分辨率,同时很好地保持光谱信息。由于所有频带都是相同对象的表示,因此它们的梯度往往处于相同的空间位置,这意味着它们在梯度域中不仅应当是稀疏的,而且应当是组稀疏的。因此,我们首先基于PAN P和理想MSI RmF(与PAN的空间分辨率相同)之间的上述结构相似性构建先验【高光谱、多光谱和全色图像融合】_第5张图片
其次,为了减少计算量,一些FHM方法将融合的HSI F分解为子空间矩阵E ∈ R L h × D R^{Lh×D} RLh×D和系数矩阵X ∈ R D × W p H p R^{D×Wp Hp} RD×WpHp的乘积。X表示由F的每个像素的子空间矩阵E中的向量成员的线性组合表示的系数,D表示由HSI通过图像分解获得的子空间中的纯光谱特征的向量的数量。然后将高维数据的求解转化为低维子空间系数矩阵的计算,有效降低了计算复杂度。基于上述假设,建立以下关系:在这里插入图片描述
因此,我们对系数矩阵X而不是F添加另一个先验约束,以减少计算成本。受高光谱解混方法的启发,对于从F分解的系数矩阵X,我们可以观察到以下现象。
由于子空间矩阵E总是由从HSI提取的纯端元构成,因此它总是具有全列秩性质。因此,系数矩阵X是低秩矩阵,因为显然融合的HSI总是低秩矩阵。因此,我们可以利用核范数||X||* 来描述X的低秩性质:
【高光谱、多光谱和全色图像融合】_第6张图片
【高光谱、多光谱和全色图像融合】_第7张图片
E通过顶点分量分析法从HSI中获得。

Optimization Procedure

我们使用交替方向乘子法来解决(7)的优化问题。通过引入五个辅助变量O、U、V、W和Q,(7)的优化问题被表示为【高光谱、多光谱和全色图像融合】_第8张图片
(8)的增广拉格朗日函数表示为
【高光谱、多光谱和全色图像融合】_第9张图片
(9)的优化问题可以分解为七个子问题,分别求解。
1) X Subproblem: 我们通过下式求解 X ( t + 1 ) X^{(t+1)} X(t+1)
【高光谱、多光谱和全色图像融合】_第10张图片
其中上标t表示迭代次数。(10)的解为【高光谱、多光谱和全色图像融合】_第11张图片
2) O Subproblem: 时间复杂度 O ( t + 1 ) O^{(t+1)} O(t+1)
【高光谱、多光谱和全色图像融合】_第12张图片
【高光谱、多光谱和全色图像融合】_第13张图片
3) U Subproblem: 我们从下式求解 U ( t + 1 ) U^{(t+1)} U(t+1)
【高光谱、多光谱和全色图像融合】_第14张图片
S-m表示像素其未被矩阵Sm选择。然后,解(15)是【高光谱、多光谱和全色图像融合】_第15张图片
4) V Subproblem: 我们从下式求解 V ( t + 1 ) V^{(t+1)} V(t+1)【高光谱、多光谱和全色图像融合】_第16张图片
5) W Subproblem: 我们通过下式求解 W ( t + 1 ) W^{(t+1)} W(t+1)
【高光谱、多光谱和全色图像融合】_第17张图片
这是典型的矢量全变分去噪问题,可以基于快速迭代收缩阈值算法直接求解。随后,我们
请添加图片描述

6) Q Subproblem: Q ( t + 1 ) Q^{(t+1)} Q(t+1)由下式求解:
请添加图片描述
可以直接用奇异值收缩算法求解

7) Y1, Y2, Y3, Y4, and Y5 Subproblems: 我们根据以下公式更新Y1、Y2、Y3、Y4和Y5【高光谱、多光谱和全色图像融合】_第18张图片
基于以上分析,我们将所提出的算法总结为算法1。【高光谱、多光谱和全色图像融合】_第19张图片

你可能感兴趣的:(遥感图像,图像融合,算法)