图像去雾学习总结

前言：

本来题目想作为如何学习图像去雾，去雾字如其名，而学习是学会去雾方面相关的知识。但是后来一想，每个研究方向均是一片海洋，而自己是半瓶不满的杯水，如何教别人呢，因此本文只能算作学习该领域的一个阶段性总结吧，今后或许不再研究该方向，但是它引领我正式进入科研，我也会一直保持对该领域的关注。去雾原理简单，对新手友好，下面开始。

最近小半年去雾研究告一段落，前后两篇水文，一篇通过GAN无深度加雾，一篇通过同样的方法逆运算进行图像去雾。其中经历不少挫折，也摸索出一些经验，因为研一大部分时间在各领域中摸索（主要关注图像信号的处理，如运动放大等，同样一知半解，有机会记录），也无研究的切入点，后来在研一快将结束时，对图像去雾产生兴趣，而实验室同学并无相关经验，好在导师大力支持，成为我科研路上最为有力的推手，给我莫大鼓励和自由，再表感谢！由于本人水平有限，文中难免存在错误和不足，还请多指教！道路虽然曲折，好在有些许成果，也算入门了。

下面我将分四部分总结我摸索的过程，其中一些会摘抄我论文中的一些内容：一、去雾知识（主要包括必备的基础知识）；二、去雾论文（主要包括你需要知道的经典去雾论文，主要去雾思想、去雾数据集及实验设计等）；三、实践（主要包括我的两篇论文内容）；四、总结（主要讲对该领域的一些见解、发展方向，减少做无用功）。

一、去雾背景知识

雾是由大气中悬浮的细小物质经大气散射后产生的现象。有雾的图像存在对比度低、饱和度低、细节丢失、颜色偏差等问题，严重影响对图像的分析，如分类、定位、检测、分割等。

图像去雾一直以来是备受关注的具有挑战性的任务，尤其是单幅图像去雾，对于后续图像进一步的分析十分关键。单幅图像去雾可分为传统方法和基于深度学习的方法。

传统的单幅图像去雾主要基于物理模型，如基于暗通道先验[1]，颜色衰减先验[3]，局部对比度最小化等，传统方法往往对环境要求较高，Fattal[2]通过独立成分分析进行去雾；CAP[3]提出了颜色衰减先验，建立了线性模型，求得雾图的深度去雾. Tan[4]利用雾化图像的局部对比度小于原图像的局部对比度，通过马尔可夫随机场对图像局部对比度最大化进行去雾.

基于学习的单幅图像去雾方法灵活，网络逐渐复杂。文献(DehazeNet)[5]提出从雾图中估计透射图；文献(AOD-Net)[6] 将大气模型中的转移矩阵和全球大气光参数合并为一个参数 ，并用神经网络进行估算 ，推理速度快；文献(MSCNN)[]通过神经网络计算出透射图，再利用多尺度卷积神经网络，对生成的粗尺度透射图进行精细化处理后去雾

近期，注意力机制在很多领域都表现出了强大的生命力.文献(FFA-Net)[8]提出了特征注意力(FA)模块，融入了通道注意力和像素注意力机制.在测试集上效果良好，但是在真实雾图中表现一般.文献(GridDehazeNet)[9]提出了一种较为通用的网络架构，将不同尺度特征和经密集残差块卷积后的不同分支特征通过通道注意力机制融合，在效率和效果上均有提升.

生成对抗网络GAN 在提出后，受到广泛的关注，人们也尝试将其用在去雾领域中.Cycle-Dehaze[10]方法基于著名的非监督图像转换方法Cycle-GAN，加入了循环一致性损失，无需使用成对的数据集，文献[24]提出了基于pix2pixHD改进型去雾网络(EPDN)[11]。

基于学习的去雾方法受数据驱动，然而通常面临高质量的数据集难以获得的问题。由于环境变化以及拍摄设备等原因，获取真实雾图对成本高昂，数量少，难以用于训练。目前公开数据集中，雾图大部分是合成数据，与真实数据分布有一定偏差。当直接使用此类数据集进行训练时，往往会出现在测试集上表现良好，而在真实雾图上表现不佳的问题，阻碍了此类模型在实际工程中的应用和表现。

去雾的主要公式如下：

 He等人[1]基于对室外无雾图像的观察统计发现，无雾图像的各颜色通道中的像素值的最小值接近于零，提出暗通道先验(DCP)，即：

 以上两张图片中的内容需要着重理解！

二、去雾论文

在第一章中，将比较重要的一些去雾论文进行简要介绍，并将其中比较重要的去雾文章名字进行简要介绍，标红的为比较重要的论文,论文名字见参考文献。

三、实践

我在下一次会将我改造得一个模型作为讲解，这也是之前论文埋下的坑：bringing old photos back to life 得训练等问题。 参见我的去雾专栏。

四、总结

去雾任务目前总体来看如果单纯刷指标，难度较大，目前指标已经刷得非常高，尤其在SOTS测试集上。因此，如果入手去雾，且发论文的话，有两个好的切入点，一是数据集、应用场景等，如超高清图像等。二是新颖的方法、思路等，以提高速度等，PSNR等指标便不那么重要了。

所以，为了少走弯路，把上面的标红论文阅读之后，就从提到得两个切入点入手

参考文献：

[1] HE K M, SUN J, TANG X O. Single image haze removal using dark channel prior[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2010, 33(12): 2341-2353.

[2] FATTAL R. Single image dehazing[J]. ACM Transactions on Graphics, 2008, 27(3): 1-9.

[3] ZHU Q S, MAI J M, SHAO L. A fast single image haze removal algorithm using color attenuation prior[J]. IEEE Transactions on Image Processing, 2015, 24(11): 3522-3533.

[4] Tan R T. Visibility in bad weather from a single image[C] // 2008 IEEE Conference on Computer Vision and Pattern Recognition, Anchorage, Jun 24-26, 2008. Washington: IEEE Computer Society, 2008: 1-8.

[5] CAI B L, XU X M, JIA K, et al. Dehazenet: An end-to-end system for single image haze removal[J]. IEEE Transactions on Image Processing, 2016, 25(11): 5187-5198.

[6] LI B Y, PENG X L, WANG Z Y, et al. Aod-net: All-in-one dehazing network[C]//Proceedings of the IEEE International Conference on Computer Vision, Venice, Oct 22-29, 2017. Washington: IEEE Computer Society, 2017: 4770-4778.

[7] REN W Q, LIU S, ZHANG H, et al. Single image dehazing via multi-scale convolutional neural networks[C]//European Conference on Computer Vision, Ansterdam, Oct 8-10. Berlin, Heidelberg: Springer, Cham, 2016: 154-169.

[8] QIN X, WANG Z L, BAI Y C, et al. FFA-Net: Feature fusion attention network for single image dehazing[C]//Proceedings of the AAAI Conference on Artificial Intelligence, New York, Feb 7-12, 2020. Menlo Park, CA: AAAI, 2020: 11908-11915.

[9] LIU X, MA Y, SHI Z, et al. Griddehazenet: Attention-based multi-scale network for image dehazing[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision, Seoul, Oct 27-Nov 2, 2019. Piscataway: IEEE, 2019: 7314-7323.

[10] ENGIN D, GEN A, EKENEL H K. Cycle-Dehaze: Enhanced cycleGAN for single image dehazing[C]//Proceedings of the 2018 IEEE on Conference on Computer Vision and Pattern Recognition, Salt Lake City, June 18-22, 2018. Washington: IEEE Computer Society, 2018:937-9388.

[11] QU Y Y, CHEN Y Z, HUANG J Y, et al. Enhanced pix2pix dehazing network[C]//Proceedings of the 2019 IEEE Conference on Computer Vision and Pattern Recognition, Long Beach, Jun 16-20, 2019. Piscataway: IEEE Computer Society, 2019: 8152–8160.

[12] LI R D, PAN J S, Li Z C, et al. Single image dehazing via conditional generative adversarial network[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Salt Lake City, Jun 18-22, 2018. Washington: IEEE Computer Society, 2018: 8202-8211.

[13] NASASIMHAN S G, NAYAR S K. Vision and the atmosphere[J]. International Journal of Computer Vision, 2002, 48(3): 233-254.

[14] GOODFELLOW I, POUGET-ABADIE J, MIRZA M, et al. Generative adversarial networks[J]. Communications of the ACM, 2020, 63(11): 139-144.