像素级红外与可见光图像融合方法研究

基本方法：

一、基于传统方法的红外与可见光图像融合方法

基于多尺度变换的融合方法、基于稀疏表达的融合方法、基于显著性检测的融合方法、基于空间转换的融合方法和其他方法。

①基于多尺度变换的融合方法

原理:通过相应的分解规则对源图像按照不同的尺度分别分解，再 按照一定的融合策略对分解结果融合，最后利用反变换得到融合结果。

常见的变换策略包括 金字塔变换、小波变换、非下采样轮廓波变换、边缘保持滤波等

常见的融合规则主要包括

极值法、混合系数法、基于窗口和区域的规则等

常见的基于多尺度变换的方法包括

基于拉普拉斯金字塔的融合方法（LP）、基于低通金字塔融合方法（RP）、基于像素和区域的复小波图像融合（DTCWT） 、基于小波变换的融合（Wavelet）、基于曲线波变换的图像融合（CVT）、基于非下采样轮廓波的图像融合（NSCT）等。

②基于稀疏表达的融合方法

基于稀疏表达的融合方法可分为三个关键步骤：过完备字典构建、稀疏编码和融合策略。

原理:通过大量高质量图像学习得到的过完备字典和稀疏编码，并在分解后的源图像数据集的基础上计算获得稀疏表达系数；再根据特定的融合规则对源图像上所获得的稀疏系数进行融合；最后将融合的稀疏系数与过完备字典结合对融合结果进行重建。

...

二、

①基于生成对抗网络Gan 的图像融合

在基于 GAN 的图像融合研究中，其算法思想与人脸图像生成不同，在人脸图像生成或者图像风格转换等研究中，生成的图片一般具有随机性，但是在红外与可见光图像融合时，融合结果应该保存足够多的源图像信息，从而在信息保存和视觉效果上应于源图像保持一致。

FusionGAN 将红外与可见光图像沿通道方向串联作为输入，经过一系列卷积操作生成融合结果，但是为了使融合结果能够保持更多可见光图像中的背景信息（纹理细节等），该方法将融合图像和可见光图像作为鉴别器的输入，由此来使融合图像不断地拟合可见光图像数据分布，以提升融合效果。

Gan被用于图像融合目前的不足之处：

（1）单鉴别器 GAN 融合网络导致融合结果对红外目标信息保存不足

仅仅使用一个鉴别器来鉴别融合结果和可见光图像，使融合图像的数据分布逼近于可见光图像，（鉴别器是用来训练生成器的），所以对红外图像的数据分布拟合不足。因此，融合结果对可见光的纹理细节信息保存较好，但对红外目标和细节信息保存不足。

(2) 基于 GAN 的融合方法对源图像典型特征感知不足

可见光传感器通过物体反射光线成像，能够凸显场景纹理细节信息，但大多数基于 GAN 的融合模型缺乏感知图像典型特征区域的能力，即不能在融合过程中充分考虑红外热源目标区域像素的高亮度值和可见光的典型纹理细节信息。导致融合结果对比度不高和红外目标信息与可见光纹理细节信息保存不完整等问题。

本文做出的改进升级

①提出了一种基于双鉴别器 GAN (D2WGAN)的红外与可见光图像融合方法

在生成对抗网络中设计两个鉴别器，第一个鉴别器旨在使生成图像具有红外图像数据分布，第二个鉴别器旨在使生成图像具有可见光图像的数据分布，从而使生成图像能够同时保存红外目标信息和可见光图像的纹理细节信息。

                                               基于双鉴别器的图像融合网络框架

(k代表kernal size，n代表卷积核数量，s为步长，CONV 代表卷积操作，LeakyReLU为激活函数）

---

提出一种基于局部二值模式（LBP）的损失函数该方法是基于生成图像（融合结果）和可见光图像的特征损失函数，令生成图像从可见光图像中保存更多的纹理信息。

D2WGAN使用基于 Wasserstein 距离的生成对抗网络来提高网络训练的稳定性。

基于 Wasserstein 距离的生成对抗网络（WGAN），WGAN 利用 Wasserstein 距离而非 J-S 散度来对比真实数据和生成数据的数据分布，在 WGAN 中将网络参数截断到固定的区间来保证参数优化中的 Lipschitz 限制，由此使 GAN 的训练变得稳定。

②提出一种基于注意力机制和 GAN 的红外与可见光图像融合方法（MgAN-Fuse)

---

通过引入注意力机制，在众多的输入信息中聚焦于对当前任务更为关键的信息，降低对其他信息的关注度，甚至过滤掉无关信息，就可以解决信息过载问题，并提高任务处理的效率和准确性。

---

在生成器中的编码阶段，红外与可见光图像采用两个数据流分别编码，并在编码结构中的不同尺度网络层分别插入注意力模块，计算各个尺度的注意力图，再将不同尺度的注意力图与解码结构对应尺度的网络层结合，使生成器能够从不同尺度感知图像目标区域或细节信息，从而提高生成器的感知能力以提升融合效果。

---

此外，MgAN-Fuse 使用特征损失函数来计算融合结果和可见光图像的特征差异。

(编码器包含两个结构相同的数据流，每个数据流包含三个卷积模块，每个卷积模块中蓝色方块为卷积层。每个卷积模块中绿色方块为 PReLU 激活函数，PReLU是对 ReLU 激活函数的进一步限制，实际上是参数化的 ReLU 激活函数，其以可忽略的额外计算成本提高精度)

MgAN-Fuse仍然使用双鉴别器结构:

(k代表kernal size，n代表卷积核数量，s为步长，CONV 代表卷积操作，LeakyReLU为激活函数）

③提出了一种基于双注意力机制的红外与可见光图像融合方法（ AttentionFGAN）

红外多尺度注意力网络和可见光多尺度注意力网络，分别用来提取红外和可见光图像注意力图，使生成器能够聚焦于红外图像的目标区域和可见光图像的背景细节信息。AttentionFGAN 采用双鉴别器结构，使融合图像保存更多源图像信息。同时，在两个鉴别器中也引入注意力模块，使鉴别器能够通过注意力模块更多的从典型特征区域而非整幅图像来鉴别图像，从而提高鉴别能力和效率。