Densely Connected Pyramid Dehazing Network（DCPDN）

简介：

本文提出了一种新的端到端单幅图像去雾方法——密连金字塔去雾网络(dcpdn) ，它可以将透射图、大气光和去雾三者结合起来共同学习。通过将大气散射模型直接嵌入到网络中，实现端到端的学习，从而确保该方法严格遵循物理驱动的散射模型。基于密集网络能够最大化不同层次特征的信息流的思想，提出了一种新的基于多级金字塔池模块的保边密连编译码器结构，用于估计传输映射。该网络利用新引入的边缘保持损失函数进行优化。为了进一步融合估计传输图与去模糊结果之间的相互结构信息，我们提出了一种基于生成对抗性网络框架的联合鉴别器来判断对应的去模糊图像和估计传输图是真是假。通过消融实验，验证了各个模块在估计透射图和去模糊结果上的有效性。大量的实验表明，与现有的方法相比，本文提出的方法取得了显著的改进。

主要网络结构：

透射图估计（提出的金字塔密集连通传输图估计网络综述）：

提出了一种密集连接编码器结构，该结构利用CNN多层的特征，其中密集块用作基本结构。使用密集块的原因在于，它可以最大化沿这些特征流动的信息，并通过连接所有层确保更好的收敛性。此外，通过将“全局”结构信息考虑到优化中，采用多级金字塔池模块来细化学习的特征。为了利用稠密网络的预定义权重，我们采用了第一个Conv层和前三个Dense block，以及来自预先训练的稠密网络121的相应下采样操作过渡块作为编码器结构。编码部分末尾的特征尺寸为输入尺寸的1/32。为了将传输图重建为原始分辨率，堆叠了5个有refined up-sampling Transition-Blocks的dense blocks，同一dimension的特征图都会串联起来。编码部分处的1/4，1/8，1/16，1/32多级池化的原因：获取更多的全局信息，在估计透射图时，尽可能保留多尺度的信息。

 在此处，用Gt表示所估计的透射图，Gd表示去雾后的图片，为了确保透射图Gt（I）和除雾后的图像Gd（I）分别与相应的真实 t 和 J 尽可能相近，故用GAN做了 Joint Discriminator ，以transmission Map和相应的dehazed Image成对输入至网络中，如下图所式作为优化目标；

其中，LE表示整体保边损失，LE，l2表示L2损失，LE，g表示双向 (水平和垂直) 梯度损失，LE，f为特征损失。LE，g的定义如下；

 

其中Hx和Hy分别是计算沿行 (水平) 和列 (垂直) 的图像梯度的运算符，w × h表示输出特征图的宽度和高度。特征损失定义为；

 

建议的DCPDN体系结构使用以下四个损耗函数进行训练；

其中，Lt由保边损耗LE组成，La由预测大气光的传统L2损耗组成，Ld代表除雾损耗，也仅由L2损耗组成。表示为联合鉴别器损失2的Lj定义如下； 

 

主要优点：

 1. 提出了一种新颖的端到端联合优化去雾网络。通过数学运算模块将等式（ I(z) = J(z)t(z) +A(z)(1 − t(z)) ，）直接嵌入到优化框架中，可以实现这一点。因此，它允许网络联合估计透射图、大气光和去雾图像。整个网络采用分阶段式的学习方法进行训练。

2. 为了准确估计传输映射，提出了一种边缘保持金字塔密集连接的编解码网络。此外，通过新提出的边缘保持损失函数对其进行优化。

3. 由于估计的透射图和脱雾图像的结构高度相关，我们利用GAN框架内的联合鉴别器来确定配对样本（即透射图和脱雾图像）是否来自数据分布。

4.在两个合成数据集和一个真实图像数据集上进行了大量实验。此外，还与几种最新的方法进行了比较，还进行了烧蚀研究，以证明所提出网络中不同模块所获得的改进。

实验结果对比图： 

评估表格：

表1：根据合成TestA和TestB数据集评估的烧蚀研究定量SSIM结果。

 

 表2：合成TestA数据集上的定量SSIM结果。

 表3：合成TestB数据集上的定量SSIM结果。

 参考文献：【论文解读】DCPDN-Densely Connected Pyramid Dehazing Network-CVPR2018_yhz_xi的博客-CSDN博客_dcpdn