基于卷积神经网络的像素级图像融合——硕士论文阅读笔记

基于卷积神经网络的像素级图像融合

原文知网：

摘要
1.介绍图像融合，引出CNN；
2.本文DWT+CNN，本文的步骤；
3.主客观优，9种对比算法。

第1章 引言
1.介绍图像融合分类，可以分成三个层次：像素级、特征级、决策级，可以按照应用分类：多焦距、多模态、多曝光等；
2.多焦距图像融合介绍；
3.多模态医学图像融合介绍；
4.遥感图像融合介绍；
5.红外可见光图像融合介绍；
6.领域不同，可分为空域和变换域；
7.空域算法介绍；
8.变换域算法介绍；
9.空域和变换域的局限性，所以本文采用卷积神经网络；
10.卷积神经网络解决的问题且可以归为空域；
11.解决空域出现的问题采用DWT+CNN；
12.文章主要贡献：（1）低频：CNN-low，高频CNN-high（2）网络结构优化（3）CNN产生的决策图用SML和GF处理；本文算法的优点和组织结构。

第2章 相关理论基础
2.1 卷积神经网络
1.卷积神经网络应用；
2.卷积神经网络公式+介绍。
2.2 离散小波变换
2.2.1 基、基函数与内积
2.2.2 尺度函数
2.2.3 小波函数
2.2.4 离散小波
2.3 卷积神经网络与图像融合结合的可行性
1.CNN可以被当做是图像中的特征选择的步骤；
2.多焦距可以看成二分类问题，CNN可以用来得到决策图。
2.4 在变换域中使用CNN
1.CNN缺点，高频子带和低频子带；
2.把不同特点的图放入不同的CNN中；
3.模糊图像与清晰图像信息量互补。
2.5 本章小结

第3章 基于CNN和DWT的多焦距图像融合算法
3.1 算法流程
1.用DWT将源图像A、B分解一层；
2.探测聚焦区域；
3.获得决策图；
4.频率融合；
5.图像重构。
3.2 设计网络
1.网络层数设计；
2.网络设计巴拉巴拉。。。
3.3 网络的训练
3.4 获得决策图
1.网络训练的到的权值图到决策图；
2.避免伪影的办法：对决策图进行引导滤波处理以及采用引导滤波的优点；
3.对于灰度点的处理。
3.5 本章小结

第4章 实验结果
1.主客观评价；
2.九个对比算法：DWT、LP、曲线波、IMF、CNN、稠密子、DCTCV、MWGF、GFF。
4.1 参数选择
通过做20组实验画Q、Qe、Qw、Qc的折线图确定分层数L和界定清晰和模糊的TH1，L=1，TH1=0.1；因为还要再用SML分类一次，作者用图说明了CNN分类的点多余SML分类的点来证明CNN的有效性。
4.2 多焦距图像选取
本文展示8组，还做了12组。
4.3 不同频率图产生的决策图
不同频率包含的信息可以互补。
4.4 融合图像对比
主观评级10人打分，本文的算法分最高。
4.5 客观指标对比
Q、Qe、Qw、Qc、Qcv
4.6 不同域中的CNN
在DWT中有效，在NSCT中也有效。
4.7 多幅图像融合策略
4.8 计算时间开销
4.9 本章小结

第5章 结论