图像融合总结

写在前头：我本来是自己瞎写的，但是部分同学对我的总结有兴趣，因此公开所有链接，各位参考即可，有些文章我没看懂，可能就写到一半就不写了。勿喷。

1.DenseFuse :A Fusion Approach to Infrared and Visible Images

https://blog.csdn.net/qq_36514344/article/details/106481622

先用数据集训练一个自编码器结构，然后固定参数用不同的融合方法来融合。

损失函数：主要为SSIM(结构相似性)，还有一个L1损失。

融合策略：主要是提出一个相加策略与基于L1范数的策略，具体看相应博客。

2.VIF-Net: An Unsupervised Framework for Infrared and Visible Image Fusion

https://blog.csdn.net/qq_36514344/article/details/106503852

直接构建一个无监督的网络结构，然后通过损失控制融合结果。

损失函数：主要是基于局部亮度的修正的SSIM损失，也就是从可见光还是红外获取这个SSIM损失取决于patch块像素强度（我觉得此处基于局部亮度会出问题，比如烟雾里的人那张图片，会原地爆炸）。还有一个TV（全变分）损失，实际就是梯度与可见光的梯度接近。

融合策略：在网络中直接concatenate就是对应的融合。

3.Infrared and visible image fusion via gradient transfer and total variation minimization

https://blog.csdn.net/qq_36514344/article/details/106559043

没有网络结构，直接通过原图根据损失函数优化。文中还提到未配准数据的融合，我没重点关注。

损失函数：用了保留红外亮度的L1损失项以及可见光梯度的L1损失。（这会导致细节不清楚，因为只是保留了梯度，没保留像素亮度。）

融合策略：并无融合策略，直接根据损失来优化图像的。

4.Infrared and Visible Image Fusion Based on Gradient Transfer Optimization Model

https://blog.csdn.net/qq_36514344/article/details/106589816

作者先提出了一个CPDE的分解方法，把图像分解为基本层与细节层，然后根据不同的损失来给融合图像限定，此处有对比度与纹理信息保留两方面，很有参考价值，主要约束了梯度的幅度，方向。

损失函数：有个内积的损失，是新碰见的，因为限制了梯度的大小，所以直接内积，如果方向一样，则内积越大。所以最大化这个内积。

融合策略：并无融合策略，直接根据损失来优化图像的。

5.DDcGAN: A Dual-Discriminator Conditional Generative Adversarial Network for Multi-Resolution Image Fusion

DDCGAN理解_qq_36514344的博客-CSDN博客

主要是用生成对抗网络的结构来融合，内容损失占主要融合效果的生成，判别器结构用作锦上添花作用。值得质疑的是作者在训练的时候用的trick比较复杂，主要防止训练不平衡。

损失函数：对抗损失就不说了，在内容损失上，生成器用了红外的Frobenius范数以及可见光的TV损失。

融合策略：在网络中直接concatenate就是对应的融合。

6.Infrared and visible image fusion with ResNet and zero-phase component analysis（零相位分量分析）

https://blog.csdn.net/qq_36514344/article/details/106732591

直接用预训练的ResNet50作为特征提取，然后对提取的特征使用ZCA使所有特征映射到同一个子空间，然后后面就先用L1范数获得初始权重图，然后使用一个插值法把权重扩大到图像大小，然后就用softmax方法获得最终权重图，权重图的计算在之前的DenseNet上有讲到，在我看来是一模一样的。

损失函数：没有损失函数，属于直接融合。

融合策略：L1范数的融合。

7.FusionGAN：A generative adversarial network for infrared and visible image fusion

https://blog.csdn.net/qq_36514344/article/details/106751557

对于待融合图像先直接concatenate，然后输入生成器，输出融合图像。由于损失函数的设计，假如没有判别器，生成器也能生成保留红外强度与可见光梯度的图像。对于判别器，用它来判别可见光图像与融合后的图像，也就是想让生成器生成的像可见光。

损失函数：除了对抗损失，生成器还有红外的内容损失和可见光的梯度损失。这边感觉有个冲突，就是对抗损失要求生成器生成和可见光接近的图，而生成器包含的内容损失是红外的内容误差，所以我觉得既然这样何不和DDCGAN一样分别形成一个可见光以及红外的判别器？不过相信还是有点区别的。

融合策略：一开始的concatenate就是融合策略。对于这种生成的方法，融合策略不那么重要。

8.Infrared and visible image fusion using Latent Low-Rank Representation

https://blog.csdn.net/qq_36514344/article/details/106796828

提出了基于潜在低秩表示的图像融合方法（LatLRR）。首先把源图分解为低秩部分（全局结构）和显著性部分（局部结构）。分别把低秩部分和显著性部分融合，然后求得最终融合图像，最简单的图像融合流程。

损失函数：直接融合的方法，没有损失函数。

融合策略：低秩部分加权平均，显著性部分直接相加。

9.MDLatLRR: A novel decomposition method for infrared and visible image fusion

https://blog.csdn.net/qq_36514344/article/details/106826234

把源图重新以patch块的形式定义，可以发现这样选择之后一旦L矩阵学习到之后就可以直接用，因为对于任意的图，只要patch块选的一样大，就行了。然后一幅图像就可以用这种方法分为基础部分和细节部分了。然后把基础部分再用LatLRR方法分解就是MDLatLRR了。在分解之后，能够获得r对细节部分与1对基础部分。

损失函数：无

融合策略：对于基础部分，使用加权平均融合。对于r对细节部分，使用nuclear融合，具体看博客。

10.Infrared and Visible Image Fusion using a Deep Learning Framework

https://blog.csdn.net/qq_36514344/article/details/106908172

先按照某种分解方法把源图分为细节部分和基础部分，具体分解方法在博客中有个公式可以参考。然后对基础部分直接融合，细节内容使用深度学习网络提取多层特征。然后使用l1范数和加权平均策略生成多个候选的融合的细节内容。然后使用最大选择策略生成融合的细节内容。最后，用基础部分和融合内容生成最终的融合图像。

损失函数：无

融合策略：基础层直接加权平均，细节层用VGG19提取多层特征，然后使用之前常用的L1范数融合以及resize获得多幅融合图，然后选择一幅最好的。

11.Infrared and Visual Image Fusion Method Based on Discrete Cosine Transform and Local Spatial Frequency in Discrete Stationary Wavelet Transform Domain

https://blog.csdn.net/qq_36514344/article/details/106916765

先用DSWT的方法把源图给分解为多level的分解图，然后在分解图上按照patch的形式使用DCT，再用LSF给DCT加强下，然后融合。

损失函数：无

融合策略：作者用DCT系数的LSF值来进行DCT系数的融合，然后反DCT变换可获得DSWT的成分，然后再反DSWT变换就获得了最终的融合图。

12.Infrared-Visible Image Fusion Based on Convolutional Neural Networks (CNN)

https://blog.csdn.net/qq_36514344/article/details/106944139

我看下来好像就是用VGG的低层特征表征可见光，高层损失表征红外，然后都是用内容损失，只是低层的内容损失偏向于可见光，高层的内容损失偏向于红外。

13.Multi-scale decomposition based fusion of infrared and visible image via total variation and saliency analysis

https://blog.csdn.net/qq_36514344/article/details/106955600

首先用高斯滤波器分解源图获得基础以及细节层。然后用不同的联合规则以融合基础以及细节层。最后把融合之后的基础层与细节层结合获得融合图像。

损失函数：在基础层的融合中是用了保存红外内容与可见光梯度的损失。

融合策略：基础层按照优化来融合，细节层通过一个挺复杂的过程，有中值滤波，均值滤波，高斯滤波以及导向滤波组成，具体看博客。