调用resnet50权重_融合算法九---ResNet

一.简介

ResNet是residual network(残差网络)的缩写，论文《Infrared and Visible Image Fusion with ResNet and zero-phase component analysis》。https://github.com/hli1221/imagefusion_resnet50​github.com

论文中，作者探讨了传统的图像融合的方法，基于MSD(multi-scale decompsition)方法的，基于SR(spatial representation)方法的，包括近几年神经网络的发展，借助于神经网络的(DLF，DeepFuse， DenseFuse)等，作者提到(DeepFuse，DenseFuse)网络结构过于简单，隐藏在深层的信息没用被用到，所以作者提出了本文的方法。hli1221/imagefusion_resnet50 论文中，作者探讨了传统的图像融合的方法，基于MSD(multi-scale decompsition)方法的，基于SR(spatial representation)方法的，包括近几年神经网络的发展，借助于神经网络的(DLF，DeepFuse， DenseFuse)等，作者提到(DeepFuse，DenseFuse)网络结构过于简单，隐藏在深层的信息没用被用到，所以作者提出了本文的方法。

作者的方法主要分为三个步骤：1)使用ResNet-50提取原始图像的深度特征；2)使用ZCA来标准化深度特征，并生成初始权重，然后使用softmax操作结合初始化权重得到最终的权重；3)使用加权平均的策略对原始图像进行融合。算法结构图

二.算法详解

2.1 特征提取

上图中，原始图片包含图片1和图片2，使用已经在ImageNet上训练过的ResNet50网络(50层，包含5个卷积快，conv1,...conv5)，第

层的输出用

表示，

表示原始图片，

代表的是通道，这一步，套用ResNet50网络就可以得到。

2.2 权重计算

使用ZCA与L1-norm的方法来获取权重矩阵，作者在文中使用了

来计算权重。ZCA

计算协方差矩阵，并使用SVD对协方差矩阵进行分解，

代表通道：

计算使用ZCA去相关性后的的

计算得到所有通道的

后，选择窗口

，大小为5*5，对

进行L1-norm平均：

在得到

，

，后使用softmax计算权重，然后使用bicubic插值算法进行上采样，得到和原图像大小一致的权重矩阵：

2.3 重建图像

得到权重矩阵后，使用加权平均的策略，对原始的两幅图像进行加权平均：

不同网络之间的对比不同标准化方式之间的对比不同融合方法之间的对比

三.总结

本文使用了残差网络和ZCA算法对红外图像、可见光图像进行融合，在一些性能指标上优于一些其他的算法，在实际使用中，需要使用GPU对ResNet50网络进行加速以减少计算的时间。