MS与PAN的影像融合策略简述

遥感影像融合

遥感影像的融合是遥感界的一个研究热点。根据数据源的不同，影像融合可分为异源传感器影像融合和同源传感器影像融合。比如SPOT的PAN图像与TM遥感图像融合即为异源融合，IKONOS的PAN与MS图像融合即为同源传感器融合。

一. 像元级融合

基于像元的图像融合是指对测量的物理参数的合并，即直接在采集的原始数据层上进行融合。它强调不同图像信息在像元基础上的综合，强调必须进行基本的地理编码，即对栅格数据进行相互间的几何配准。像元级融合基本上可以分为这两类：基于空间域、基于变换域。

基于空间域（分量替换法）

分量替换法是将多光谱图像（MS）中所包含的空间结构信息与光谱信息进行分离，将多光谱图像投射到另一个空间中，然后利用全色图像（PAN）替换掉多光谱图像中的空间结构部分，以此提高多光谱图像的空间分辨率。

①HSV融合
过程：HSV是将影像从RGB空间变化到HSV色彩空间，然后用高分辨率PAN图像替代亮度波段（V）；将多光谱另两个色度和饱和度进行重采样到高空间分辨率；进而将图像变换回RGB色彩空间，形成融合影像。
优缺点：图像纹理和空间信息比较好，但光谱信息损失比较大，融合过程受图像波段限制。

②IHS融合
过程：IHS方法是将原始多光谱图像从RGB空间变换到IHS空间，然后用高分辨率图像或用不同投影方式得到的待融合图像替代I分量。
优缺点：HIS变换方法简单,易于实现,但融合得到的多光谱影像灰度值同原多光谱影像有较大差异,亦即光谱特征被扭曲；HIS变换法的另一个缺点是只限于3个波段参与融合。

③Brovey融合（彩色标准变换融合）
过程：通过归一化后的多光谱波段与高分辨率影像乘积来增强影像的信息。（RGB图像中每个波段都乘以高分辨率数据与RGB图像波段总和的比值）

优点：Brovey变换融合优点是色调非常好，光谱信息好。

④HPF（高通滤波变换法）
过程：对高空间分辨率全色影像进行高通滤波；对低分辨率多光谱影像进行低通滤波；对高通滤波和低通滤波的结果求加权,得到锐化了的影像。
优缺点：HPF变换法对光谱特征的扭曲比PCA和HIS变换法都小,且有较好的空间分辨率；突出高频信息的同时,部分低频信息或某些重要的信息会受到压制；色彩表现上,高通滤波变换的结果一般,色调的层次感较差。

⑤SFIM（基于亮度调节的平滑滤波方法）
过程：SFIM融合是通过平滑滤波将高分辨率的影像匹配到低分辨率影像。（首先将PAM图像去除光谱和地形等信息等低频信息，将仅保留的空间结构信息直接添加到多光谱MS影像中）

⑥PCA变换（主成分变换法）
过程：PCA是将低分辨率的多光谱信息进行主成分变换，将高分辨率全色波段匹配拉伸第一主成分（进行精准几何配准，防止信息丢失），从而替代多波段图像的第一主成分，最后进行主成分逆变换，生成具有高空间分辨率的多光谱融合图像。 优缺点：PCA无波段限制，光谱较好；PC变换的第一分量PC1包含信息高度集中，而后面的分量信息含量依次减少，会使色调发生较大变化，光谱信息变差。

⑦Gram-Schmidt变换（光谱锐化法）
特点：通过对矩阵或多维影像进行正交化，从而可消除冗余信息。
过程：首先预处理数据；随后模拟产生低分辨率的全色波段影像用于作为GS变换的第一分量。（下采样）；GS变换–施密特正交化（以模拟波段为第一波段，多光谱影像所有波段为后续波段）；接着根据GS第一分量，对全色波段进行修改；最后把修改后的全色波段作为第一分量，进行GS逆变换，输出n+1个波段，去除第一个波段，就是融合后的结果。

基于变换域（多尺度/多分辨率融合）

多分辨率分析法相对于分量替换法光谱信息保留更好，主要在频率域对图像进行多尺度、多方向的分解，能更好的结合不同数据的空间信息与光谱信息。

①小波变换(WT)
过程：对原始图像进行小波变换，提取小波系数（即分解后的低频子带和高频带系数）；分别对不同子带系数使用不同规则进行融合；最后对融合后的小波系数进行重构，即逆变换得到新的融合图像。
特点：通过时频变换来实现特征信息提取，并利用伸缩平移等运算实现对信息多尺度分析。
小波基：Haar,Daubechies,Symlets,Biorthogonal,Meyer。

②Curvelet(曲波变换)
二代曲波：主要优化在于规避了脊波计算，减小了计算复杂度。

③金字塔变换
图像融合在不同尺度、分辨率自己分阶层上分别进行，所以融合过程中不是直接，而是经过分解，在各个分解层中融合。基本思想：将原始图像预处理后分解，然后通过从原图像的金字塔中选择系数来形成金字塔，在逆变换得到融合图像。
主要方法：拉普拉斯金字塔（1983 年 Burt P.J.等人提出）、对比度金字塔、梯度金字塔。

拉普拉斯金字塔：
过程：建立高斯金字塔：分解实质就是根据窗口函数（近似高斯分布）的低通特性，通过卷积对图像进行滤波，所得结果为一个降2采样；建立拉普拉斯金字塔：将高斯金字塔上一层插放大，扩大到与下一层一样并且在作差，得到的所有差值构成拉普拉斯金字塔；拉普拉斯金字塔重构源图像。
缺点：子带图像并没有表现出方向性，因此融合图像会出现模糊以及边缘轮廓不清晰的现象，使得基于 Laplacian 金字塔的图像融合算法不能完全表达图像的特征信息，具有一定的局限性。

④CT（轮廓波变换）
轮廓波变换结构组成：进行多尺度分解的拉普拉斯金字塔滤波器组和进行多方向分解的方向滤波器组。
特点：基于小波变换的图像融合方法作为一种多尺度分解的融合算法，轮廓波变换不仅具有多尺度、时频局部特性，还具有小波变换缺少的多方向、各向异性的特性，并且可以使用不同频率的子带系数充分地表示图像边缘轮廓的特征信息。
缺点：LPFB和PFB都需要进行上下采样，未解决平移不变性的问题，易造成图像频谱混叠。

⑤NSCT（非下采样轮廓波变换）
采用了非下采样金字塔滤波器（NSPFB）和非下采样方向滤波器（NSDFB），与CT相比，不需要进行上采样和下采样，避免了采样过程中产生的失真，从而保持平移不变性的优势。

二. 特征级融合

基于特征的图像融合是指运用不同算法，首先对各种数据源进行目标识别的特征提取如边缘提取、分类等，也就是先从初始图像中提取特征信息——空间结构信息如范围、形状、领域、纹理等；然后对这些特征信息进行综合分析和融合处理。

①基于光谱空间信息的DMIL模型
过程：首先从图像中提取光谱特征利用SAE网络提取MS图像，利用DCNN提取PAN图像的空间特征；将两种特征进行串联，输入到一个三层完全连通的融合网络中，进行高级特征的融合和学习；最后，使用Softmax分类器对特征进行识别。

②自适应深度特征融合（SAFF）
特点：一种通过聚合从预训练的CNN模型中提取的卷积特征来进行遥感场景分类的SAFF方法。
过程：第一部分从预训练的模型中提取卷积特征。其次,SAFF 设计充分利用空间和通道响应并强调那些不经常通过空间和通道加权出现的特征的重要性将特征映射转换为聚合向量。最后，将这些向量输入具有线性核的支持向量机(SVM)分类器进行场景分类。

③基于视网膜的多分辨率图像融合
特点：一种基于视网膜的多分辨率数据融合方法，在保留原始低分辨率多光谱的光谱特性的同时，允许使用高分辨率全色图像。
过程：第一层是一组高分辨率的受体；第二层是高尺度空间特征提取；第三层是低分辨率受体阵列；第四层和第五层由双极细胞和神经节细胞组成，通过将高分辨率的空间特征添加到低分辨率图像，可以生成空间增强的多光谱图像。
…

三. 决策级融合

基于决策层的图像融合是指在图像理解和图像识别基础上的融合。也就是，经“特征提取”和“特征识别”过程后的融合。它是一种高层次的融合，往往直接面向应用，为决策支持服务。

①专家投票打分
②贝叶斯推理法则
③模糊集决策理论
④可信多视图分类
…