图像融合方法总结

微信公众号：快餐热点，为您每天提供全美资讯，是您学习英语提升眼界的好平台

论文来自：基于特征提取的图像融合，江南大学，王鹏飞

1. 基于加权平均的融合方法

    优点在于速度快，图像结构完整性保障，但是遇到融合图像像素差异较大的情况，这种对像素点灰度的平均会产生严重的拼接感。

2. 基于绝对值取大的融合方法

    优点在于边缘强度高，纹理清晰，但是拼接感强，结构不完整。

3. 基于主成分析PCA的融合方法

    步骤为：计算A的相关系数矩阵，并计算其特征值与特征向量得到各个分量，将B与A的第一主分量做直方图匹配；用匹配到的B代替A的第一主分量；然后与Ad的其他分量一起做PCA反变换得到融合图像。

    存在空间扭曲，空间细节丢失的问题

4. IHS融合

    将待融合RGB转到IHS空间，根据融合规则对三组分量进行融合。最终逆变换到RGB空间，得到融合图像

    运算简单，但如果相关度较低，容易产生光谱信息的丢失

5. 基于PCNN的融合方法

    利用PCNN计算AB对应的点火图FiremapA和FiremapB。

    这种方法往往会丢失细节和纹理信息，在红外与图像融合的应用中有较好的效果，但是在多聚焦图像融合中的效果不佳。

6.基于金字塔变换的融合

    重建过程存在不确定性，不稳定性，可能会导致融合结果的模糊

7. 基于小波变换的图像融合方法

    小波变换拥有水平，垂直和对角三种高频子带，但是它难以反映线和面的奇异行，还缺乏对自然图像进行稀释表示的能力。

8. 多尺度变换的融合方法

    多尺度变换包括轮廓波的变换，非下采样的轮廓波的变换，剪切波的变换，平移不变剪切波的变换。

9. 轮廓波的变换

    首先对拉普拉斯进行分解，得到边缘的孤立的端点，利用DFB把一致方向的断点连成线。

10. 非下采样轮廓波变换NSCT（Non-subsampled Contourlet Transform）

    NSCT采用非下采样金字塔和非下采样方向滤波器组完成对图像的多尺度，多方向的分解。

11. 剪切波变换(Shearlet)

    对图像进行金字塔分解，得到低频子带和高频子带；将低频子带映射到伪极坐标上，并计算其傅里叶变换，并对变换得到的矩形进行带通滤波；将变换得到的系数映射到笛卡尔坐标系上；利用傅里叶变换逆变换获得Shearlet变换系数。

12. 平移不变剪切变换SIST(Shift Invariant Shearlet Transform)

    非下采样金字塔和非下采样，滤波器组，在变换过程中没有进行下采样。因此具备平移不变行。    

 

13 栈式稀疏自编码

 

14. SIFT

 

总结：

   需要改进的地方：权威的图像质量评价标准的建立。融合策略的自动选择，待融合图像的自动配准。