可见光与红外图像融合 matlab_VIFB: 一个可见光与红外图像融合Benchmark

已更新Github地址。

若觉得有用，欢迎使用、引用和进一步联系交流。谢谢！

----

一、背景介绍

可见光与红外图像融合（Visible and infrared image fusion）是图像融合领域的一个分支。其在很多领域都有应用，例如可见光与红外图像融合跟踪（RGB-T tracking）、人脸识别、人耳识别、SLAM、国防领域。因此，多年以来，一直是比较活跃的研究领域。

从方法上来讲，主要包含基于空间域的和基于变换域的方法。

基于空间域的方法是指直接在空间域对源图像进行操作从而得到融合图像的方法，主要包含基于像素的(pixel-based)、基于块的(block-based)和基于区域(region-based)的方法。

基于变换域的方法是指首先将源图像变换到某个变换域，然后在该变换域内进行图像融合（一般以系数的形式），最后再用逆变换得到融合图像的过程。常用的变换包括多尺度变换（例如小波变换）、压缩感知、稀疏表达等。

近年来，随着深度学习的发展，深度学习技术也被引入到了可见光与红外图像融合领域。包括CNN，GAN等在内的一些深度学习模型被应用到了可见光与红外图像融合领域，并取得了不错的效果。

二、存在的问题

然而，从可见光与红外图像融合这个研究方向出现以来，该方向的研究就存在一个重大问题：缺乏benchmark。这主要表现在以下几个方面：

首先，没有统一的数据集。尽管有一些数据集相对常用，但并没有形成标准或者共识，因此在文献里，普遍存在测试图片不一致的情况。很多时候，是张三用A图片测试性能，而李四用B图像对在测试性能。

其次，没有统一的评价指标。和目标跟踪等有ground truth的领域不同，图像融合领域一般没有ground truth，从而导致对融合结果的评价没有标准答案。因此，图像融合领域的性能评价一般分类两部分：定性评价和定量评价。

定性评价也称主观评价，即靠人眼去观察融合图像的质量。尽管定性评价很重要，但显然主观性太强，毕竟“众口难调”，每个人的评判标准都不一样。定量评价是指使用一些评价指标（evaluation metrics）去对融合图像进行评价。然而，由于前述的没有标准答案存在的缘故，目前也没有统一的评价指标。事实上，到目前为止，研究人员大约设计了不下30种各种各样的评价指标用于评价融合图像的质量。然而，这些指标中并不存在最好的指标。指标的评价效果非常取决于测试图像，并且指标之间还存在互相矛盾的现象。因此，在文献中通常的做法是只展示对自己算法有利的几组指标的结果。

基于上述两个原因，在可见光与红外图像融合领域，缺乏一个统一的benchmark来客观、全面地评价算法性能。目前的文献里基本上都是“王婆卖瓜，自卖自夸”。考虑到这些情况，以及目标跟踪等领域普遍存在benchmark（如OTB, VOT等），我们认为制作可见光与红外图像融合领域的benchmark是非常有必要的。

三、VIFB

因此，我们着手制作了一个初步的benchmark，即visible and infrared image fusion benchmark (VIFB)。据我们所知，VIFB是可见光与红外图像融合领域的第一个benchmark。

在VIFB中，我们目前收集制作了一个含有21对可见光与红外图像对的测试集、一个含有20种可见光与红外图像融合算法（绝大多数发表于2016年以后）的代码库和13种各式评价指标。此外，我们还制作了软件平台，在该平台上我们统一了这20种算法的接口，可以一键运行并获得融合结果和评价指标的计算结果。

VIFB中目前包含的方法

VIFB中目前包含的评价指标

另外，还可以非常方便地添加和运行算法（使用我们设计的函数接口）并计算评价指标。或者，将在其他环境中运行得到的融合图像添加到VIFB中进行评价指标的计算。

部分实验结果

作为初步的尝试，我们希望VIFB的出现，可以给可见光与红外图像融合领域的研究者们提供一个运行算法和评价算法的平台，可以缓解可见光与红外图像融合领域文献中缺乏统一评价平台而导致的“王婆卖瓜、自卖自夸”现象，为领域的发展助一分力。

论文地址：

VIFB: A Visible and Infrared Image Fusion Benchmark​arxiv.org

Github地址：

xingchenzhang/Visible-infrared-image-fusion-benchmark​github.com

由于是初步尝试，因此工作肯定还有很多疏漏和不足。如有意见和建议，欢迎各位同行、专家批评指正与交流~