图像融合实现过程记录

断断续续两个星期，把图像融合的这部分任务交差了。现在回想这个过程，其实对自己来说还是有所学习，有所成长。索性趁现在还能有些余热，便在这儿留下点记忆，也可供以后参考。同时也希望能给需要这方面知识点的小伙伴一些参考~~

图像融合，在这儿需要完成的任务是实现将多聚焦下的同一视野下的局部清晰但全局模糊的图像融合成一张全局清晰的图像。在此之前翻阅了相应的资料，了解了一下融合的基本原理以及不同场景下的融合。可参见【Image blending】一文。

下面，便来说说这一路学习尝试一路成长收获的过程吧~~

第一次尝试时，我所选用的方式是利用小波四级分解将图像分解成高频和低频成分，小波分解原理具体可参见【Wave transform】，然后对于多张图的低频部分进行权重相加，对于高频部分则选择对应位置最清晰点的像素值，至于这个清晰点如何确定，此处选用的是通过计算方差值，选取某个位置上方差之最大的点的像素值。然后再经过小波逆变换将图像复原。但这种方式后面直接被老师拒掉了，因为耗时太长，另外有很明显的锯齿效应，因为在选取最清晰点的时候并未考虑到空间位置信息，也就是相邻的像素点也许来自不同的图片，同时因为在处理时是利用灰度图，最后该如何转换为彩色图，这个我还得继续研究一下~~

所以这种自找的方法并未奏效，但对自己而言学习到了什么是小波分解以及其实际的实践，也算是一种收获。

那下面这种方法是经老师指点后采用的，首先是为了能考虑到空间位置信息，避免明显的锯齿效应，另外是提速，这个方法便是利用guided-filter滤波器对提取出的权重矩阵进行引导滤波，因为涉及到滤波便涉及到了空间信息，另外，引导滤波可以尽量地保持图像边缘的情况下进行模糊，同时，可以保持原图的连续性，因此，对每一张图片所对应的权重图进行引导滤波便可尽量避免锯齿效应。具体的实现原理我细细说明一下~~

Step1：首先，将图片利用Gaussian模糊得到低频部分，再利用原图减去低频部分得到高频部分图像。

Step2：将图像转换成灰度图，求出saliency map层以便计算求得最清晰点。那这个层是如何得到的呢？首先对其进行Laplacian滤波提取高频信息，然后对Laplacian后取绝对值，再对图像进行Gaussian平滑即可。在这儿需要注意的是，opencv中Laplacian默认的算子是中心为（-4），后面在实现时，将算子改成了以（-8）为中心后进行filter2D（）进行滤波即可，如此也就能更加地突出细节，这个可以根据实际需要进行调整。

Step3：得到了每张图的Saliency_map后，则对所有图每个像素位置，选取其灰度值最高的像素值作为对应点的灰度值，如此，可以得到一张max_mask图，其每个点的像素值为所有图中在该点的最清晰的灰度值。然后对应于每张saliency map，利用mask_map=(saliency_map==max_mask)来得到每张图的mask,但此处需要注意的是，可能多张图在该位置点的灰度值均与mask_map上的该点的值相等，所以需要进行筛选，当某个位置上已经经存在255这个值时（因为mask_map的值非0即255），则其他saliency_map上该点的值则设置为0。不然的话会让结果有些 模糊。

Step4:得到每张图的mask_map后，利用guidedfilter，以原始的灰度图或彩色图作为引导图，以mask_map作为输入图（实现效果证明利用灰度图或彩色图对最后的结果影响不大，另外以彩色图为引导图时，可以将其分解成三个通道，对每个通道按灰度图，单通道为引导图的方式进行处理，最后再将三个通道上的值进行相加，此方法比原始的以彩色图为引导图的方式速度要快。），，为了得到低频与高频的权重图，可以设置不同大小的窗口大小以及sigma参数，窗口越大，sigma越大，则结果越模糊，则可对应低频mask，反之则可得到高频mask，将滤波后的图片作为最后的权重图final_mask_base,final_mask_detail。

Step5:将所有原图像的低频部分与final_mask_base相乘后相加后.mul(1/sum（final_mask_base）)，得到base_layer,高频部分与final_mask_detail相乘后相加后.mul(1/sum（final_mask_detail）),得到detail_layer,即进行归一化，将像素值限定在0-255之间。

Step6：再将step5得到的base_layer+detail_layer得到最终的结果，即一张全局清晰的图片。

因为工程项目的原因，代码不能公开，所以只能把大致的流程记录下来啦~~

---

另外看了一些论文，下面把总结贴于此吧~~