2Notes《Multi-focus image fusion with dense SIFT》

这篇文章是基于像素点dense SIFT进行融合处理，其也能解决原图像mis-regisistration的情况。

背景知识：

所谓dense SIFT是指，对每一个像素点利用一个局部窗口，该窗口大小为48x48，划分成4x4个单元，每个单元有8个bins的梯度方向，由此而产生4x4x8=128维的特征描述子，由此可见，dense SIFT不具有旋转和尺度不变性。SIFT，则是先利用DoG尺度空间检测图像中的特征点，然后再生成特征点的128维的特征描述子，该描述子是典型的具有旋转和尺度不变性的特征描述子。

方法：

文章基于未归一化的dense SIFT进行图像的融合处理，将每个像素点的128维的特征描述子进行求和作为每个像素点清晰度的描述，形成其saliency_map,同时为了说明这种描述方式是有效的，文章对其进行了简单的验证。即通过对同一幅图像利用不同的标准差进行不同程度的高斯模糊，计算每张图中像素点的dsift值并求和得到图像S，然后求S的平均值作为清晰度检测值，观察结果，更模糊的图像其清晰度描述的值是否是更小的，实验表明该清晰度描述方式是有效的。如图1所示：

图1

其大体处理流程如图2：

图2

首先的目的是生成初始的activity_map，以划分聚焦区域和非聚焦区域。对应于saliency_map1和saliency_map2,设置两张全像素值为0的图M1,M2,在saliency_map的基础上，利用滑动窗口以单位步长进行滑动，对每个窗口进行求和得到s1，s2，比较两张图该窗口中的值的大小，若s1>s2，则在M1中将该窗口位置的所有点的像素值+1，否则则在M2中将该窗口位置的所有点的像素值+1。当遍历完所有的像素点之后，通过图3中的方式定义原图像中的清晰点，非清晰点以及不确定的点，也就是只M中有对应位置为0是，才可能在对应位置的对应图像上形成清晰点和非清晰点，否则在该位置上则为不确定的点。所以不确定点在各个图像上的位置时相同的。将清晰的点设置为1，不清晰的点和不确定的点设置为0，并进行相应的孔洞填充。

图3

最后，将两幅图像的白色区域视为对应图像上该区域为清晰区域，并将其值对应地设置为1和0，其他区域则为不确定的区域，将值设置为0.5，如图4中的公式所示：

图4

得到初始的分割图，如图5：

图5

【PS:之前在理解这一步的时候有点不太明白，为什么不直在根据图3公式得到清晰像素，不清晰像素和不确定像素时直接将值设置为1,0,0.5，而是在得到(c)和(d)后再进行，后来想明白了，因为在去除空洞的时候，会有新的清晰点产生，也会有一些清晰点被去除，所以不能直接定义，在得到（c）和（d）后，只有白色区域是真实可信的聚焦清晰的点，而黑色区域包括了不清晰的点和不确定的点，所以，将白色区域相结合，其他的区域视为不确定的点，以此得到分割图e。】

得到了对应图像上的清晰区域后，下一步要解决的便是对于不确定区域像素点权值的确定，这样的流程与1Notes中的方式类似，对初始分割进行进一步的处理。

然后，对于未确定区域，通常出现在物体的边缘区域，以及在未配准的情况下，同一位置内容不同时也会容易产生未确定区域，所以下面的处理便可以解决未配准的情况。其处理方式为利用像素的正则化后的DSIFT特征，对于不确定区域的像素点，以像素点（x,y）为中心设置局部窗口，在另一幅图像上对应的窗口中进行特征匹配，如图6：

图6

利用图7中的公式，确定像素点（x,y）的权重：

图7

其中SF表示的是一种空间频率信息（spatial frequency），其值的大小可以用来表征像素的清晰度信息，由此便可以得到最终的分割图像，如图8所示：

图8

最后根据图4中的公式可知，图8（b）可以视为第一张图的掩模activity_map1,对应的第二张图的掩模activity_map2可由（1-b）得到，最后根据图9中的公式将原图像进行融合,其融合后的结果如图8（c）所示：

图9

心得：

1、文章提出基于每个像素点的DSIFT特征求和得到saliency_map,之后利用滑动窗口的方式得到activity_map,将图像分为清晰区域，不清晰区域和不确定区域，之后再针对不确定区域，利用归一化后的DSIFT进行配准，利用SF来描述该像素点的清晰度以此确定不确定区域像素点的权重。方法可以有效地解决未配准的情况。但是为每个像素点生成128维的DSIFT特征将会十分耗时，所以在实际应用中不可行。

2、该算法对于有明显清晰与不清晰区域轮廓的图像较为适用，但对于没有明显轮廓的情况则效果可能不佳。

2、文章在由saliency_map得到activity_map时，不是按照传统的基于对应位置每个像素点知道比较，而是通过滑动窗口的方式综合局部信息来进行比较，可以使其具有平移不变性，这种方式是否能在一定程度上解决图像未配准的情况呢？可以在自己的设计中予以借鉴。

3、文章在定义清晰度描述时，通过简单的实验验证了该描述的值时能有效地反应图像清晰度的情况，此步骤也可用于自己论文中。