globalmapper如何选取图像上的点_【综述】图像去雾的前世今生
1. 前言
其实之前对图像去雾也没有什么深入的理解，只是了解，实现过一些传统的图像去雾方法而已。个人感觉，在CNN模型大流行的今天，已经有很多人忽略了传统算法的发展，以至于你今天去搜索10年前的传统去雾算法或许根本找不到相关资料了，或许这就是网络中的围城吧。今天周六有空来整理一下我所了解到的图像去雾技术的发展，并尝试做一个详细点的综述。
2. 概述
图像去雾在计算机视觉中虽然不像目标检测，语义分割这种任务整天会放在台面上说，但实际上也有大量的研究人员在不断的研究新方法攻克这一充满挑战性的问题。具体来说，图像去雾算法大致可以分为下面这几类。
- 基于图像增强的去雾算法。基于图像增强的去雾算法出发点是尽量去除图像噪声，提高图像对比度，从而恢复出无雾清晰图像。代表性方法有：直方图均衡化（HLE）、自适应直方图均衡化（AHE）、限制对比度自适应直方图均衡化（CLAHE） 、Retinex算法、小波变换、同态滤波 等等。
- 基于图像复原的去雾算法。这一系列方法基本是基于大气退化模型，进行响应的去雾处理。代表性算法有：来自何凯明博士的暗通道去雾算法(CVPR 2009最佳论文)、基于导向滤波的暗通道去雾算法、Fattal的单幅图像去雾算法（Single image dehazing） 、Tan的单一图像去雾算法（Visibility in bad weather from a single image） 、Tarel的快速图像恢复算法（Fast visibility restoration from a single color or gray level image） 、贝叶斯去雾算法（Single image defogging by multiscale depth fusion） ，基于大气退化模型的去雾效果普遍好于基于图像增强的去雾算法，后面挑选的传统去雾算法例子也大多是基于图像复原的去雾算法。
- 基于深度学习的去雾算法。由于CNN近年在一些任务上取得了较大的进展，去雾算法自然也有大量基于CNN的相关工作。这类方法是主要可以分为两类，第一类仍然是于大气退化模型，利用神经网络对模型中的参数进行估计，早期的方法大多数是基于这种思想。第二类则是利用输入的有雾图像，直接输出得到去雾后的图像，也即是深度学习中常说的end2end。
3. 雾天退化模型
我们后面介绍的一些经典算法例子大多基于雾天退化模型，因此有必要在这里将它讲清楚。
在计算机视觉领域，通常使用雾天图像退化模型来描述雾霾等恶劣天气条件对图像造成的影响，该模型是McCartney首先提出。该模型包括衰减模型和环境光模型两部分。模型表达式为：
其中，
公式(1)中的
由此可见，图像去雾过程就是根据
实际上，所有基于雾天退化模型的去雾算法就是是根据已知的有雾图像
3.1 如何估计全局大气光值A？
- 一，将图像的亮度最大的点的灰度值作为全局大气光值
。
- 二，利用暗通道估计全局大气光值
。在暗通道去雾算法中，从暗原色通道中选取最亮的
比例的像素值，然后选取原输入图像中这些像素具有的最大灰度值作为全局大气光值
。
三通道中每一个通道都有一个大气光值。
- 三，分块递归思想估计全局大气光值
。具体思想就是先将图像平均分为四个部分，然后分别求取四个部分中的平均亮度值，选取亮度值最大的块，将这个块平均分为四个块，选取最亮的块，当分解到块的大小达到一定阈值时，在这个块中选取亮度最大的点作为全局大气光A。 可以看到这有一个递归的过程。
- 四，分段思量估计全局大气光值
。我记得这是一个韩国小哥提出的方法，对天空具有天然的免疫性。我们观察一般的图像，天空部分一般被分配在图像的上
部分，因此将图像水平分为
个部分，然后在最上的
部分使用暗通道估计算法估计全局大气光
。
- 五，快速估计全局大气光值
。首先求取输入图像RGB三通道中的最小值，即求取暗原色通道图像，然后对暗原色通道图像进行均值滤波，然后求取其中灰度值最大的点，接着求取输入图像RGB三通道中值最大的通道图像，然后求取出灰度值最大的点，然后将两个点的灰度值的平均值作为全局大气光A。
3.2 如何估计透射率？
3.2.1 暗通道去雾算法估计透射率
在3.1节估计出全局大气光值
根据公式(2)可以得出：
首先可以确定的是
根据(4)和(5)推出：
因此初略估计透射率的计算公式：
最后为了保证图片的自然性，增加一个参数
3.2.2 利用迭代思想估计透射率
这个算法非常有意义，本人还没来得及复现，先来看看原理。首先，如果想获得更好的去雾效果，就要求去雾后的图像对比度高，并且失真度小。然后对上面的公式(2)做一个变换可以得到：
可以发现，
我们使用均方误差MSE来衡量对比度增强。
其中，
可以想一下，这种做法会导致什么问题？复杂度会增加
3.2.3 精细化透射率的例子
如何精细化透射率，典型的有以下几种方法：
- Soft matting（暗通道去雾论文中有提到）。
- 双边滤波。
- 导向滤波。（已复现成功，后面分享）。
3.3 后处理
上面我们获得了大气光值
OK，现在了解了去雾算法的重要理论接下来就直接开始盘点经典算法。
4. 带色彩恢复的多尺度视网膜增强算法（MSRCR）
这篇论文主要提出了一个Retinex理论，包含了两个方面的内容：物体的颜色是由物体对长波、 中波和短波光线的反射能力决定的，而不是由反射光强度的绝对值决定的；物体的色彩不受光照 非均匀性的影响,具有一致性 。 根据Retinex理论，人眼感知物体的亮度取决于环境的照明和物体表面对照射光的反射，其数学表达式为：
其中，
将上式两边取对数，则可抛开入射光的性质得到物体的本来面貌，即有关系式：
这个技术运用到图像处理上，就是针对我们现在已经获得的一幅图像数据
因此，算法流程可以总结为：
- 输入: 原始图像数据
,尺度（也就是所谓的模糊的半径）
- 计算原始图像按指定尺度进行模糊后的图像
。
- 按照4-2式的计算方法计算出
的值。
- 将
量化为
到
范围的像素值，作为最终的输出。
具体效果怎么样呢？看张图吧。
5. CVPR 2009 暗通道去雾算法
原理见：OpenCV图像处理专栏六 | 来自何凯明博士的暗通道去雾算法(CVPR 2009最佳论文)
6. 基于中值滤波进行去雾
算法原理：OpenCV图像处理专栏十 | 利用中值滤波进行去雾
7. A Fast Single Image Haze Removal Algorithm Using Color Attenuation Prior
这篇论文就更有意思了哦。论文观察到，单幅图像去雾的难点在于图像中包含的关于场景结构等信息非常少，因此很难获得较为全面的信息从而进行去雾。然而，人的大脑在面对一幅图像的时候其实是可以很快的分辨清楚哪里有雾、哪里没有，或者很快分辨清楚近景、远景而不需要其他太多的资料。基于这一思考，作者对很多副有雾图像进行分析发现统计意义上的结论从而提出一个新的思路，通过对很多图像的远景、中景、近景进行分析发现了雾的浓度与亮度和饱和度之差呈正比。
作者通过2幅图像分析了有雾和无雾图像的区别：
我们知道，雾天退化模型可以写成：
从Figure3中可以看到直接的衰减会导致反射能量的减弱，从而导致brightness的低值，也即
其中
最终，参数结果为：
论文地址为：http://ieeexplore.ieee.org/document/7128396/。
8. 中部小结
上面列出了一些经典的用传统算法去雾的例子（姑且把它叫作图像去雾的前世），接下来我们看看CNN是如何在这个领域发挥的（图像去雾的今生）。
9. 2016 华南理工DehazeNet
论文和代码下载官方地址：http://caibolun.github.io/DehazeNet/
这篇论文是较早使用深度学习来进行去雾的网络，它是一个端到端的模型，利用CNN来对大气退化模型中的
DehazeNet的贡献如下：
- end2end系统，直接学习并估计传输率与有雾图像的关系。
- 提出nonlinear激活函数，称为BReLU（双边ReLU），取得了更好的恢复效果。
- 分析了DehazeNet与已有去雾技术之间的关系。
具体来说，作者先对暗通道去雾，最大对比度去雾（Maximum Contrast，MC，论文名为：Visibility in bad weather from a single image），基于颜色衰减先验去雾（Color Attenuation Prior，CAP，论文名为：A fast single image haze removal algorithm using color attenuation prior），基于色度不一致去雾（A fast single image haze removal algorithm using color attenuation prior）这些方法做了介绍，然后作者结合上面的方法进行网络设计，网络结构主要分成4大部分：
- 特征提取。
- 多尺度映射。
- 局部极值。
- 非线性回归。
网络结构如下图所示。
9.1 特征提取
这里的特征提取和普通的CNN不同，这里采用“卷积+Maxout”的结构作为网络第一层。如下面公式所示：
其中
作者指出，“卷积+Maxout”等价于传统的手工去雾特征。当W1是反向（Opposite）滤波器,通道的最大等价于通道的最小值，等价于暗通道先验（DCP）；当W1是环形（Round）滤波器, 等价于对比度提取，等价于最大对比度（MC）；当W1同时包含反向（Opposite）滤波器和全通（All-pass）滤波器，等价于RGB到HSV颜色空间转换，等价于颜色衰减先验（CAP）。此外，从机器学习角度，Maxout是一种样条函数，具有更强的非线性拟合能力，如图（d）。
9.2 多尺度映射
使用空间多个尺度的卷积。分别使用
9.3 局部极值
根据假设，透射率具有局部不变性，所以使用了一个Max Pooling层（
9.4 非线性回归
大气透射率
9.5 训练
要获取自然场景的有雾和无雾的图像是十分困难的，所以作者使用了基于物理雾霾形成模型的综合训练集。从网络上收集的图像中随机抽样
10. ICCV 2017 AOD-Net
论文名为：All-in-One Network for Dehazing and Beyond
这篇文章文并没有单独估计
这篇文章的贡献如下：
- 提出了一个end2end的去雾模型，完成了有雾图像到清晰图像之间的转化。通过
将
与
统一，基于
可以完成对清晰图像的重构。
- 提出了新的比较去雾效果的客观标准，定量研究去雾质量是如何影响后续高级视觉任务的，同时，其模型可以和其他深度学习模型无缝嵌套。
由雾天退化模型知可以知道，表达式中有两个未知数大气光
网络结构如下：
其中，K-estimation Module是利用输入图像
11. CVPR 2018 DCPDN
论文标题： Densely Connected Pyramid Dehazing Network
论文的贡献如下：
- 提出一个基于去雾公式的端到端的网络。
- 一个保边的密集连接的编解码网络生成
。
- 为了获得去雾后的图和t之间的关联性，使用判别器对它们进行联合训练。
具体而言，对于产生
而对于
12. WACV 2019 GCANet
论文标题：Gated Context Aggregation Network for Image Dehazing and Deraining 这篇论文用GAN网络，实现可端到端的图像去雾，本文的重点在于解决了网格伪影（grid artifacts）的问题，该文章的方法在PSNR和SSIM的指标上，有了极大的提升，非常值得借鉴。
本文贡献如下：
- 提出端到端的去雾网络，不依赖于先验。
- 采用了smooth dilated convolution 代替原有的dilated convolution，解决了原来的dilated convolution导致的grid artifacts问题。
- 提出了一个gated fusion sub-network，融合high-level 及low-level 特征，提升复原效果。
网络结构如Figure1所示，三个卷积模块作为编码部分，一个反卷积和两个卷积作为解码部分在二者之间插入多个smoothed dilated resblocks。
12.1 Smoothed Dilated Convolution(平滑空洞卷积)
从昨天的推文【综述】神经网络中不同种类的卷积层 我们了解了空洞卷积。但空洞卷积有一个缺点，它会产生网格伪影，针对这一问题，作者用了一个简单的分离卷积。
在上图中，上面这部分表示的是原始的空洞卷积，从图中色块可以看出，经过空洞率大于
12.2 Gated Fusion Sub-network（门控融合子网）
这个子网络主要是融合了不同层次的特征信息，和ASFF太像了。。。之前的网络都是直接添加直连(shortcut)操作进行信息融合，这里的门控融合单元为不同层次的特征分别学习了权重，最后加权得到融合的特征层。
12.3 损失函数
13. AAAI 2018 Disentangled Dehazing Network
论文标题：Towards Perceptual Image Dehazing by Physics-based Disentanglement and Adversarial Training
作者认为之前基于先验知识的去雾，缺点在于先验知识不是在任何情况都满足的（比如说多光源，大雾），并且不是监督训练的。而基于CNN的去雾需要训练集是成对的，即同时有有雾图像与无雾图像。而一个有效的去雾模型应该能够学习无雾图像到有雾图像的映射，无需使用成对监督。并且人类对去雾后的图像和没去雾的图像的感知应当是一致的，基于此，作者提出这个Disentangled Dehazing Network，主要贡献如下：
- 提出一种基于解耦的新型去雾网络。
- 收集了具有挑战性的数据集，包含800多个自然模糊图像与1000个无雾的室外场景图像。
- 通过对合成和真实图像的数据集的广泛实验来评估感知图像去雾。
一句话总结，将GAN用于去雾。
13.1 解耦网络 Disentangled Dehazing Network
论文引入基于解耦与重建的物理模型，目标是将有雾图像解耦为隐藏特征值，再利用隐藏特征值重建图像。网络的总体结构如Figure1所示。
13.2 损失函数
损失函数包含三部分，重建损失，对抗损失，正则化损失。
- 重建损失。使用L1损失函数。
- 多尺度对抗损失。为了生成更真实的图像，作者其对中间输出
引入了多尺度生成训练，受到（Isola et al. 2017) and (Zhu et al. 2017)启发，作者使用了patch-level discriminator，并进行了改进，使用了局部鉴别器和全局鉴别器。如Figure2所示。
- 正则化损失。在该部分，借鉴了前人的经验，使用medium transmission map的平滑性作为正则化损失。
最后，总的损失函数为：
目标函数为：
13.3 图像恢复
经过网络处理后，可以得到两个去雾后的图像，一个是生成器
14. CVPR 2018 Cycle-Dehaze
论文题目：Enhanced CycleGAN for Single Image
这篇论文是基于《Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks》来做改进的，前者设计了一个循环的对抗网络学习图像风格的迁移，使用不成对的图像来训练网络。这篇论文在其基础上加入了循环感知一致损失，对图片的特征进行监督。其实可以总结为一句话，改造CycleGAN用于去雾。
没兴趣去看这篇论文了，就不细讲了，感兴趣可以去读一读。
15. 总结
今天是周六，花了很长的时间来盘点我所认识的图片去雾，可以看到这并不是一件简单的事。通过对图像去雾的前世今身的了解，相信你和我一样对图像去雾有了更好一点点的认识了吧。
16. 参考
https://blog.csdn.net/u013684730/article/details/76640321
https://zhuanlan.zhihu.com/p/28942127
https://blog.csdn.net/Julialove102123/article/details/80199276
https://zhuanlan.zhihu.com/p/47386292
https://kevinj-huang.github.io/2019/03/03/%E5%8D%9A%E5%AE%A287/
http://www.cnblogs.com/jingyingH/p/10061286.html
https://blog.csdn.net/suixinsuiyuan33/article/details/7945106