【本文关键词】高光谱，多光谱，图像融合（image fusion），分辨率增强（resolution enhancement），混合像元分解（spectral unmixing）
【内容简介】将多光谱影像分成子图像分别进行端元提取（endmember extraction），进而提升高光谱分辨率增强的精度。
【原文链接】网页|PDF
图像融合简史
本文的研究属于图像融合的范畴。在遥感领域，最早的图像融合技术是全色锐化（Panchromatic Sharpening, Pansharpening），也即利用全色波段的遥感影像提升多光谱波段遥感影像的空间分辨率。实现全色锐化的方法众多，主流的方法包括主成分分析（Principal Component Analysis, PCA），强度-色调-饱和度（Intensity-Hue-Saturation, IHS）变换等。在PCA方法中，首先对多光谱波段进行PCA，然后将得到的第一个主成分用全色影像代替。在IHS方法中，则在对RGB波段进行IHS变换后，用全色影像代替I分量。此后的多光谱影像已不限于RGB三个波段，因此，在IHS方法的基础上，又发展出了广义IHS（Generalized IHS）方法和广义强度调制（Generalized Intensity Modulation）方法。后来又出现了，高通滤波（High-pass Filtering）和高通调制（High-pass Modulation）方法，基本思路是提取全色影像的高频分量，然后将其以适当的方式添加到每一个多光谱波段中。随着多分辨率技术的发展，高斯金字塔（Gaussian Pyramids）、拉普拉斯金字塔（Laplacian Pyramids），以及离散小波变换（Discrete Wavelet Transform, DWT）也被应用于全色锐化中。
此后，全色锐化技术被进一步应用于多光谱和高光谱影像，在方法上取得了长足的进步和发展。首先出现的是基于2-D和3-D小波的方法，但它的性能取决于空间和光谱重采样效果的好坏。另一种方法是使用贝叶斯统计中的最大后验（Maximum a posteriori, MAP）估计来建立多光谱和高光谱影像之间的联系。在此基础上，再引入随机混合模型（Stochastic Mixture Model, SMM）作为约束条件，可以进一步提升融合效果。而如果在小波域中使用MAP估计，则可以取得很好的抗噪声性能。
耦合非负矩阵分解（Coupled Nonnegative Matrix Factorization, CNMF）是一种较为新颖的方法。该方法根据线性混合模型（Linear mixing model, LMM）对高光谱和多光谱影像分别利用NMF进行光谱解混（Spectral Unmixing），在已知传感器观测模型的基础上，综合利用了高光谱影像中的端元和多光谱影像丰富的空间信息。CNMF在短波红外波段比MAP效果要好很多。
本文方法简介
本文的方法是，对高光谱和多光谱影像利用LMM进行解混，但使用的不是整景影像，而是影像中的子图，这样可以达到减小高光谱影像重构误差的效果。与CNMF类似，本文方法也需要已知高光谱和多光谱传感器的观测模型。在验证部分，作者将该方法的结果与CNMF和MAP-SMM进行了比较。
本文方法详解
第一步 观测建模
假设高光谱影像有个波段，个像元，可表示为；多光谱影像有个波段，个像元，表示为。显然，有和。假设两幅影像已经经过几何配准，而待预测的高分辨率高光谱影像为，则可得到下面两个式子：
其中是空间扩散变换矩阵（Spatial Spread Transform Matrix），是光谱响应变换矩阵（Spectral Response Transfrom Matrix）。为的稀疏矩阵，含有个非零元，代表高光谱影像的空间点扩散函数（Point Spread Function, PSF）。为的稀疏矩阵，每一行代表多光谱影像一个波段的光谱响应函数。和均为不可逆的非方阵，在本文方法中为已知量。和为噪声。
第二步 线性光谱混合模型
考虑待预测的高分辨率高光谱影像，它的LMM表示为：
其中为的端元特征矩阵（个端元，每个有个波段的反射率），为的丰度比例矩阵（个像元中的每一个所对应的各个端元的比例），为噪声。
将LMM代换到和的表达式中，忽略噪声，可以得到：
其中是的丰度比例矩阵（个像元中的每一个所对应的各个端元的比例），是的单元特征矩阵（个端元，每个有个波段的反射率）。将上面几个式子中的噪声部分均忽略不计，可以得到：
第三步 基于光谱解混的图像融合
在时，有；在时，有。为了最小化重构误差，选择提取个端元。具体的算法流程如下：
- 利用顶成分分析（Vertex Component Analysis, VCA）提取高光谱影像中的端元
- 对提取的端元进行光谱重采样
- 计算高分辨率多光谱影像中对应的丰度矩阵
- 对得到的丰度矩阵进行重采样
- 用最小二乘法估计高光谱影像的端元矩阵
- 重构高分辨率高光谱影像
最后得到的的表达式为
第四步 子图处理
第三步中考虑的是的情形，但有时个端元不足以最小化重构误差，因此还必须处理的情形。本文使用了分割子图的方法，分别对每一幅子图执行第三步中的融合算法，则最终可以得到个端元（为子图数量）。由于分割的尺度对最后的重构误差影响很大，本文采用了多个分割尺度，最后将多个尺度的结果进行融合。具体的算法流程如下：
- 计算每个分割尺度下，低分辨率高光谱影像每一个像元的重构误差
- 找出每个像元取得最小重构误差时对应的分割尺度
找到在高光谱影像上对应的空间位置
找到其在多光谱影像上对应的空间位置
得到最终的高分辨率高光谱影像
在这一过程中，可能得到高度相关的端元，需要进行排除。这里可以利用方差扩大因子（Variation Inflation Factor, VIF）进行判断：
如果含有VIF超过10的端元，则对应的子图需要在融合过程中加以排除。
个人理解
本文方法的创新点在于，在多个尺度下分别进行融合算法，最后得到了多幅高分辨率高光谱影像，然后再重采样到高光谱影像原分辨率，计算每一个像元的重构误差，然后选择最小误差的结果。这样实际上是把得到的多幅高分辨率高光谱影像再进行筛选，合并得到了最终结果。简单来说也就是将多个结果组合为最终结果。这一思想可以进一步拓展，比如应用于热红外？应用于光谱而非像元？
附：图像融合质量的评价指标
图像融合效果的好坏很难通过目视判断，需要借助一些定量的指标。常用的指标包括：
峰值信噪比（Peak Signal Noise Ratio, PSNR），表达式为：
其中为第个波段的均方误差，为第个波段的最大值。
光谱角制图（Spectral Angle Mapper, SAM），表达式为：
一般来说，PNSR越大，SAM越小，表示融合效果越好。
此外，还可以使用结构相似度指数（Structural Similarity Index, SSIM Index）来度量，其表达式为：
其中和为常数项，可保证表达式有意义。