Notes3《Image matting for fusion of multi-focus images in dynamic scenes》

由这篇文章的名字可以看出，其可以解决图像未配准的情况。

背景知识：

Image Matting：抠图技术，将一幅图像的前景与背景进行区分，其实质是求解图1中的公式：

图1

I为已知的原图像，其中alpha表示透明度，F表示前景，B表示背景，抠图的实质便是求解这三个变量。但是一个方程无法求解三个变量，所以需要引入一些约束限制，也就是人为设置一张trimap图，该图指定了一些可以很明显地区分为前景（alpha=1）和背景（alpha=0），以及一些不容易区分的不确定区域，然后再交给计算机进行Image Matting操作，得出不确定区域的alpha值，计算得到的该值可能为小数。由此便可得到一张由所有像素点对应的alpha值形成的掩模图像，只有前景的alpha值为1，其余值均为0.将该图与原始图像相结合便可以实现抠图操作。详细的可以参考一篇博客http://blog.csdn.net/blueswhen/article/details/22617631?locationNum=10

方法：

本篇文章主要是将Image Matting的方法用于生成activity_map，以实现融合处理，其总体流程如图:2：

图2

首先利用形态学操作生成对应的清晰度描述saliency_map，其方法为对原图像分别进行顶帽和黑帽操作，然后综合两者去最大形成像素点的清晰度描述D，如图3中的说明：

图3

然后结合每张图的saliency_map生成初始分割结果，将其分割成清晰区域，不清晰区域和不确定区域，生成trimap，这一思路与Note1和Note2中类似。其方法是，根据图4中的公式，得到大致的清晰与不清晰区域R，即取最大响应的操作。

图4

然后利用中值滤波去除一些空洞，为了解决图像未配准的情况，假设的前提是未配准的情况通常是发生在物体的边缘。文中利用skeletionization（骨架操作）方法对经过中值滤波处理后的图像进行处理，所谓骨架，是指用于形状描述时形状的中心轴，最后处理得到的中心轴的像素值会较其他区域高。然后再利用图5中的公式得到聚焦与不聚焦区域，其中Rms/n是指在经过图4操作后得到的Rn经过骨架操作后再进行均值滤波后的结果，

图5

之后，利用图6中的公式，得到含有三个区域的trimap图像，这种有点定义方式类似于DSIF，当且仅当所有图像对应的该位置上，该图像上的值为1，而其余图像上该位置均为0时，其为聚焦点。

图6

其处理流程如图7：

图7

最后，对Trimap进行Image Matting操作，计算得到所有像素点alpha值形成最终的activity_map，然将原图1与activity_map，原图2与（1-activity_map）相结合形成融合后的图像。

心得：

本文主要是定义了一种生成trimap的方法，然后利用Image Matting方法形成最终的activity_map。在解决未配准的情况时，通过骨架操作后再确定activity_map中的值，以此减少其影响。

但是，基于骨架的操作对于图像中有明显的形状的刚性结构较为适用，但对于细胞这种不定形，且目标较小的情况可能并不太适用，所以该方法在处理自己的数据集时得到的效果并不好。

Tips：高频信息更有可能出现在聚焦清晰的区域。