图像融合-综述

图像融合论文及代码网址整理总结（1）——多聚焦图像融合
（大部分成像系统，例如数码单反相机，有一个有限的景深，使场景内容在有限的距离成像平面保持焦点。具体来说，离焦点更近或更远的物体在图像中表现为模糊(失焦)对焦有的会导致全图失焦。
多聚焦图像融合(MFIF)旨在从同一场景的两个或多个部分聚焦的图像中重建一个完全聚焦的图像。
平时我们拍照一般都是局部聚焦，也就是我们拍照时点击某一处，该处会聚焦，那么其他部分则会失焦，那么有时我们想全图都聚焦，这时可以通过多个部分聚焦的图像进行合成，形成全聚焦图像all-in-focus.）
图像融合论文及代码网址整理总结（2）——红外与可见光图像融合
图像融合论文及代码网址整理总结（3）——题目中未加区分的图像融合算法

多模态(RGB-D)——FuseNet

论文阅读笔记

IFCNN: A general image fusion framework based on convolutional neural network（2020 information fusion）

Inspired by the transform-domain image fusion algorithms, we firstly utilize two convolutional layers to extract the salient image features from multiple input images. Afterwards, the convolutional features of multiple input images are fused by an appropriate fusion rule (elementwise-max, elementwise-min or elementwise-mean), which is selected according to the type of input images. Finally, the fused features are reconstructed by two convolutional layers to produce the informative fusion image.

图像融合算法可分为两类：空间域算法和变换域算法。

• 空间域算法将输入图像划分成小块或区域，测量小块的显著性，最终将最显著的区域融合成新的图像。该类算法适用于相同模态的图像（如多聚焦图像）。存在问题：各区域拼接位置周围会存在区域伪影。
• 变换域方法将图像变换到特征域，然后在特征域上进行加权融合，最后将融合特征反向生成融合图像。即使图像的模态不同，但它们在特征域上可能会共享相似的属性，所以该算法可以适用于多模态的图像之间的融合，如红外-可见光融合，CT-MR融合。

创新点：there are two major novelties in this paper.

• Firstly, our model’s characteristics of fully convolutional neural network and good generalization ability together compose the first major novelty of this paper.
• Secondly, our high-resolution large-scale multi-focus image dataset (with ground-truth fusion images) is another major novelty
  

三个组成：特征抽取、特征融合、图像重构。

• 特征抽取层：两个卷积层组成，第一个卷积层采用resnet101的第一个卷积层，并使用其在imagenet上的预训练参数，因为imagenet是分类任务，而本文是图像融合，所以第二个卷积层是为了对第一层进一步调整。
• 特征融合层：没有采用contatenate方法（因为是通道的拼接，如果融合的图像数量发生变化，如3张或4张图的融合，那么网络结构要发生变化），所以采用了elmentwise的融合，如elementwise-maximum, elementwise-sum and elementwise-mean。对于红外-可见光融合，elementwise-maximum比较合适。
• 图像重构层：用两层卷积。

实现细节
全网没有使用池化层，防止精度损失。