文献阅读：Learning Aggregated Transmission Propagation Networks for Haze Removal and Beyond

文献连接：直达

一、文献梳理

1、摘要

背景：单图像去雾是一项重要的基础视觉任务，具有广泛的应用前景。

以往研究：传统方法使用视觉先验方法解决去雾问题，但当他们的假设对特定图像无效时，可能会造成去雾失败（泛化能力差）；单纯的DL由于并不考虑雾霾的物理规则而需要大量训练数据（成本高），同时DL无法对训练集外不同类型的雾霾进行去除（泛化能力差）。

模型创新：使用一种可以聚合先验知识和数据自身的信息的残差传输结构对场景的亮度值进行估计；进一步提出了一种基于变分能量观点的聚合深度模型的内在传播行为的研究方法。

模型优点：结合prior driven models 与数据驱动模型并利用了二者的优势，同时避免了传统去雾的问题。

模型：1、提出一种轻量级学习框架。2、 by introducing a task-aware image separation formulation（基于任务感知的图像分离公式） with a flexible optimization scheme。

实验：1、水下图像增强。2、单图像雨去除。3、合成图像和真实图像对比实验。

2、INTRODUCTION

图像去雾与场景的像素深度息息相关，然而估计场景的像素深度十分不易。常用的做法是使用其他含有此场景的图片对其进行解决，但在实际应用中经常只有一张单幅的特点场景的图片。针对这一问题，先验方面的近期工作为：

先验模型：

（1）Single Image Dehazing：提出了一种基于单输入图像的模糊场景光传输估计方法。假设shading和透射率独立，运用独立成分分析估计透射图。

（2）《Single Image Haze Removal Using Dark Channel Prior》：在绝大多数非天空的局部区域里，某一些像素总会有至少一个颜色通道具有很低的值。即该区域光强度的最小值是个很小的数。

（3）《Efficient image dehazing with boundary constraint and contextual regularization》：重新制定DCP作为边界约束，并将上下文正则化引入雾天图像的模型传输中。

（4）《Two-layer gaussian process regression with example selection for image dehazing》：提出了一种两层高斯回归模型来细化DCP。

（5）《Single-image dehazing via optimal transmission map under scene priors》：提出了两种场景先验来估计最优透射图

（6）《A fast single image haze removal algorithm using color attenuation prior》：通过为场景深度下的颜色衰减先验创建一个线性公式，设计出一种监督去雾模型。

（7）《Non-local image dehazing》：提出了模糊线的概念，并采用模糊线来估计透射因子。

（8）《A contrast enhancement framework with jpeg artifacts suppression》：为了解决变分模型对模糊图像中伪影的抑制问题。

总结：这些方法大多基于某种先验假设，并不适用于特定场景的单幅图像去雾

数据网络：

现有的一些方法表明，CNNs也可以使单幅图像去雾，并且可以通过精确的深度信息估计来有效地处理复杂的场景。近期的去雾网络有：

（9）《 An end-to-end system for single image haze removal》：提出了一种可训练的端到端CNN，输入模糊图像，输出相应的透射图，恢复无模糊图像。

（10）《Single image dehazing via multi-scale convolutional neural networks》：Ren等人进一步介绍了多尺度CNNs用于单幅图像去雾。他们首先使用一个 coarse-scale的网络来粗略估计Depth Map，然后通过另一个精细的网络来细化它。注：基本思想用的是一个Multi-scale的网络，这里的Multi-scale不是现在网络中Multi-scale features的做法，而是分为两个scale的网络来做DepthMap的估计，分别是Global Coarse-Scale Network和Local Fine-Scale Network。前者其实就是AlexNet，来得到一个低分辨率的Coarse的Depth Map,再用后者去refine前者的输出得到最后的refined depth map.代码

总结：神经网络随后但有两大问题：1、网络完全丢弃了先验知识。2、网络严重依赖于数据的质量与数量。

本文：

无论是先验模型还是神经网络他们都没有考虑物理原理，因此本文提出一个新的透射方法，即数据和先验聚合的透射网络，避免单一图像去雾的先验假设和训练数据的限制。具体地说，我们首先构建一个聚合的剩余体系结构来制定传输传播。然后，从基于能量的建模角度研究了DPATN的固有传播行为。通过实验论证，本文与现有方法相比，有以下优点：

（1）将雾霾去除任务的具体领域知识明确地运用到DPATN的透射传播中，产生更准确的传输估计和现实的去雾结果。

（2）需要更少的训练数据（与其他网络相比，DPATN能够以向前和向后的方式通过网络直接传播传输，从而获得良好的传播特性。没明白）

（3）我们遵循能源微型化的观点提供了一种新颖的方式来研究我们的架构的内在传播行为。与其他方法相比，这是一种启发式的模型构建方法，它可以适应更加复杂的任务。

（4）我们用一个任务感知分离公式扩展了DPATN，并证明了最终传播的全局收敛性。这使其可以更好的应用于其他类型的任务。

3、THE PROPOSED FRAMEWORK

（1）大气散射模型

大气光模型是现在去雾算法的基础，它认为有雾图像的形成是被雾削弱的物体反射的光线和被雾反射的大气光进去摄像机共同组成的。

 我们把雾的削弱和放射性能用 t(x) 表示，它与物体到摄像机的景深d(x)有关，对于景深 d(x) 和雾带来的散射系数  有 t(x)=exp(-d(x)) 。所以如果有物体的景深，就可以用随机的散射系数  和大气光来从清晰图片 J(x) 中模拟带雾图片I(x)。 

去雾的目标主要是从I(x)中还原出J(x)，准确估计出transmission map（透射图）t(x)是任务的关键。然而图片中存在多种情况，使用单一的t(x)是不合适的，因此将t(x)离散化为t=[t1,t2,...,t3]。（每个像素都有t）。

在几何学中，雾霾图像式（1）表示：在RGB彩色空间中，矢量A（x）、J（x）、和t（x）是共面的，他们的终点是共线的如图1（a）所示。透射率t是两条线段的比率：

（2）Aggregated Architecture for Transmission Propagation

1）总公式与结构

         

由上述公式，可知t处于一种迭代过程，并且新的t为上一步t与此时F的残差。此时的卷积神经网络学习的是当前层与下一层特征的残差，传统的残差是H-x，不过按照论文中的公式残差应是x-H，个人认为没有什么差别，如右图。其中F有卷积部分（两个卷积计算没啥过多说明的）和DPATN部分组成，

 2）重点介绍DPATN：（1）DCP算法；（2）先验算法

（1）DCP算法   参考

理论基础：对于一个无雾图像，每个局部区域很可能至少一个颜色通道会有很低的值，或黑色东西。（非天空区域）每个局部区域都总有一些很暗的东西。

算法思想：利用全图最暗点来去除全局均匀的雾，但经过大量实验，局部找最暗点进行均匀去雾有很好的效果，由此推出Dark Channel Prior将全局改为局部去雾。

背景（暗通道先验）：暗通道先验基于以下户外无雾图像的观察：在绝大多数非天空图像区域中，至少有一个通道具有强度非常低且接近于零的像素。因此，这些最小强度像素值接近于0，即无雾图的暗通道的值为0，即为暗通道先验。

应用（估计t）与（利用先验）推导：注暗通道是不会影响t的，因此其推导就是对大气模型两端求暗通道。

 实际上，即使在晴朗的日子里，也大气并不是完全没有任何微粒。所以当我们看远处的物体时，阴霾依然存在。此外，阴霾的存在是人类感知深度的基本线索。这种现象被称为空中透视。如果我们彻底消除阴霾，图像可能看起来不自然，我们可能会失去深度感。因此，通过引入一个常量参数，我们可以选择为远处的物体保留极少量的雾霾：

去雾过程 ：首先找出每个像素的RGB三通道的最小值、形成图像的暗通道图像；在暗通道图片中每个像素的周围15*15的矩形中找像素最小的值，作为该像素的值。由下式算出投射图。即使用最小值滤波生成一个灰度图。

（2）先验算法 

本文的先验模型主要是暗通道的定义套入大气散射模型，与DCP不同的是它不再假设无雾图片的暗通道值为0，而是将JC用IC限制住。我的疑问是那个P(I)得出的是一个区间？还是对区间在去max?注：A不一定不比I小

           

3）Lightweight Learning Framework，训练过程

（1）损失函数：（很明确不说了，注网络训练的是T）

（2）求梯度：与其他的链式发则无太大区别，只是它的残差结构是P+F，所以需要多打开一步

（3）算法DPATN优化

 参数优化：减少参数数量，此时一个卷积核就一个参数，但d是什么？

优化激活函数

 个人理解是构造一个p-q的映射函数，p在【-1,1】区间，q为函数对应的值。其本质是将输入归一化到【-1,1】，再按每段线性函数进行输出，再通过另一个参数进行综合。感觉不太对

 4）恢复图片：求J，注：本文的A为局部值，不再是传统方法中的全局最亮值。 

4、ENERGY -BASED PROPAGATION INVESTIGATION

使用一种参数化函数将输入空间中的点映射到一个标量，以便将所需的点分配给低能量，而将不正确的点分配给高能量。已有研究表明，各种学习框架(如概率模型、偏微分方程模型、深度网络都可以按照“能量最小化”的原则重新表述。

建立过程(建立能量模型，将与能量有关的变量联系起来)：

原始的数据传输形式为：

假设有：

                                                       

所以有：注wx的求导得出外部w

 由上述可知，当梯度越小时，网络越稳定，能量越低，因此有

能量直接反映了tl出现变化的概率，可理解能量越大，其变化出现的概率越大。因此有：

 上述为对tl出现的概率估计，因此可使用最大似然估计对其参数w进行估计。注：为什么是指数函数，不是其他的单调递增函数。

 5、EXTENSIONS WITH TASK - AWARE IMAGE SEPARATION

本文为完成更加具有调整的任务，在原有框架的基础上提出一种新的图像分离公式，并将其应用于水下图像识别与图像去雨等更加复杂的任务。

1）Task-Aware Image Layer Separation

本文对于图像分离任务的中心思想是：在已知I的情况下，估计出P，进而得到L，并根据DPATN公式求解出L中的t与J。

 上述方法为解决此任务的基础方法，本文对这一方法进行改进使其可以更快的解出P，具体模型如下：

我没推导出来，主要问题是1、关于二范式我不知道该如何展开，2、对于最优化的求解方法也有些忘记了，用的不是拉朗。3、L的右上角为什么有+。下面证明P可以收敛（最优化问题存在解）为一点的证明也没看懂。

 2）Underwater Image Enhancement

重点：在此任务中对于图层分离公式本文并未作出改进，主要是针对大气散射模型进行两个方法的改动：1、加入了一个关于个颜色通道的约束。2、对模型中的“大气光”进行重新定义。

模型：

关于颜色通道的约束：

受文献[30]中颜色恒常性假设的启发，将下面的跨通道约束合并到Eq.(18)中，以平衡RGB通道的强度值范围，解决某一颜色通道出现像素值偏移的情况。

关于B：

由于水下传播时红光衰减速度快于蓝光，所以在模糊图像中，退化后的图像往往呈现出偏蓝的色调，而非白色的色调。本文对红色通道中的“大气光”进行校准，以避免来自白色物体的干扰。

 3）Single Image Rain Removal

中心思想：与上一任务相同，不同的是根据雨滴的折射率对图层进行分类（传统方法不使用折射率分类图层，而是估计雨滴的纹理）。改进：此时的p不再是单一的值而是与原图像值有关的固定分布（因为雨滴的纹理特征类似），本文假设P的先验满足高斯分布：

注：关于改进的原因是雨滴的纹理特征类似，至于为什么是高斯分布？。。。。。。

6、实验结果

实验结果分为：定性分析、定量分析、Ablation studies （模型简化测试）、水下图像增强结果、单幅图像去雨结果。

实验	定性分析	定量分析	模型简化测试	水下图像增强结果	单幅图像去雨结果
评测标准	颜色失真、伪影情况、NIQE分数	峰值信噪比、结构相似性（注：此部分数据集按霾的浓度分为三个数据集）	不同数量训练集上的峰值信噪比、结构相似性	颜色失真、伪影情况	颜色失真、伪影情况

展示：

 补充：NIQE评价算法、峰值信噪比、结构相似性

图像质量评价方法总体上又可以分为两类：图像主观评价方法和图像客观评价方法。主观评价方法是由观察者直接观察图像并由观察者评估主观感受该图像的后的质量。这种评价方法虽然准确，但是却会受到各种主观因素的影响，并且主观评价实验的设计比较复杂，花费的代价也比较高。

图像的客观评价方法是按照一定的模型来模拟人的视觉系统来实现图像评估的效果。这种方法实际和有效地给予一定量指标。目前，图像质量的客观评价方法包括:无参考的图像质量评价方法，有参考的图像质量评价方法，和半参考的图像质量评价方法。经典的图像质量评价指标为 PSNR和 SSIM，它们是在评价去雾图像质量和视觉效果时，重点关注了图像的细节清晰度和色彩还原程度这两个重要的衡量指标。

7、结论

本文提出了一种用于单幅图像去雾的DPATN算法。与以往的基于先验的模型设计和启发式的网络框架不同，DPATN将先验和数据聚集在一个深度残差架构中进行透射的传播。我们从能量的角度研究了它的透射传输行为，还为DPATN开发了一个轻量级的训练框架。最后，我们提出了一种任务感知的图像分离技术，将DPATN扩展到更有挑战性的视觉任务，如水下图像增强和单图像雨去除。同时证明了该方法的全局收敛性。实验表明，DPATN在对抗最先进的方法时取得了良好的性能。

三、补充

1、去雾流程：

1）求图像暗通道

2）利用暗通道计算出折射率

3）利用暗通道估计大气光

4）代回雾图公式去雾

2、公式推导