技术干货 | AECRNet：基于对比学习的紧凑图像去雾方法

MindSpore作为一个端边云协同的的全场景AI开源框架，为开发者带来端边云全场景协同、极致性能，极简开发、安全可信的体验，2020.3.28开源来得到数五十万以上的下载量，走入100+Top高校教学，拥有数量众多的开发者，在AI计算中心，智能制造、云、无线、数通、能源、消费者1+8+N等端边云全场景逐步广泛引用，是Gitee指数最高的开源软件。欢迎大家参与开源贡献、模型众智合作、行业创新与应用、算法创新、学术合作、AI书籍合作等，贡献您在云侧、端侧、边侧以及安全领域的应用案例。基于MindSpore的AI顶会论文越来越多，我会不定期挑选一些优秀的论文来推送和解读，希望更多的产学研专家跟MindSpore合作，一起推动原创AI研究，MindSpore社区会持续支撑好AI原创和AI应用，本文是MindSporeAI顶会论文第四篇，我们选择了来自国内高校在CVPR 2021的一篇论文进行解读，感谢华东师范大学谢教授团队投稿。

• 论文整体目录：

1. MindSpore论文解读 | 自此告别互信息：用于跨模态行人重识别的变分蒸馏技术

2. MindSpore论文解读 | EPRNet:应用于实时街景分割的高效金字塔表征网络

 3.  MindSpore AI论文解读3：文本语义哈希在大规模信息检索系统的应用

 01 

研究背景

• 研究背景介绍：图像去雾的目的是消除雾霾环境对图像质量的影响，增加图像的可视度，可以提升车辆检测、场景理解等高层视觉任务在恶劣天气场景下的性能，是图像处理和计算机视觉领域共同关切的前沿课题。但目前不论是基于先验的图像去雾方法还是基于学习的图像去雾方法都仅使用了正样本的信息，得到的结果仍具有大量雾残留、颜色失真、伪影等问题。此外，不断增强的模型带来了大量的参数量和计算量，使得模型在轻量级设备中难以部署。

• 论文研究方向：本文主要针对现有图像去雾方法中所存在上述问题，重点挖掘负样本信息，设计了以自编码器为核心的轻量级网络，均衡图像去雾模型的性能与参数量。

• 团队背景介绍：所在团队由吴文俊科学技术奖自然科学奖、上海市科技进步特等奖获得者谢源教授领衔。团队长期从事机器学习、计算机视觉与模式识别等方面的科研工作,有扎实的研究基础和丰富的成果积累（AI与CV顶会年均产出4~8篇，AI与CV顶刊年均产出3~5篇），并形成了一系列自有知识产权的国际领先的科研成果。

 02 

论文主要内容简介

论文提出了一种基于对比学习的紧凑图像去雾方法。通过引入负样本，并充分挖掘负样本中的信息，进一步约束去雾问题解空间的上下界。区别于分类任务中的对比学习，论文中设计的对比正则在预训练模型的特征空间上计算样本之间的距离。在此基础上，论文设计了一种紧凑的模型。采用编码器-解码器的结构，首先对输入进行下采样，使密集计算集中在低分辨率空间。上下采样层特征间进行自适应混合，使浅层信息流向深层，同时自适应融合。此外，引入可变形卷积模块以获取更高效的信息。

论文通过大量、详实的消融实验在实践中验证了理论的正确性，并在与SOTA方法的对比中，以极简的网络结构大幅领先于所有相关方法，证实了理论的有效性。同时论文设计的对比正则具有即插即用性，可有效提升现有SOTA方法。

 03 

代码链接

• 会议名称：CVPR 2021

• 论文链接：https://arxiv.org/abs/2104.09367

• 基于MindSpore实现代码开源链接：https://gitee.com/wyboo/AECRNet-MindSpore

 04 

算法框架技术要点

算法框架包括两部分，即自编码器结构的去雾网络，以及对比正则。去雾网络包括下采样部分，FA模块，动态特征增强模块，自适应Mixup操作以及上采样部分。除了传统的重建损失以外，论文将去雾网络的输出作为锚点，清晰图作为正样本，原始雾图作为负样本，输入到预训练的VGG网络中并计算对比正则。

图一：算法框架（模型结构图）

 05 

实验结果

图二：论文模型在合成和真实数据集上实验结果

图三：论文提出的对比正则应用于SOTA模型实验结果

图四：不同数目的正样本和负样本对论文所提出的对比正则的影响

图五：论文模型与其他模型性能与参数量的均衡比较

 06 

MindSpore代码实现

代码主要包括以下模块：数据加载，网络结构，损失函数以及训练器。

• 数据加载：

图六：数据集加载

图七：数据生成器及数据增强

•  网络结构

图八：注意力模块

图九：去雾模块

图十：MixUp操作

图十一：完整去雾网络

• 损失函数

图十二：对比正则损失

图十三：完整损失函数

• 训练器

图十四：单步训练过程

图十五：完整训练过程

07 

总结与展望

本文设计了一个针对去雾任务的对比正则损失，通过引入正负样本有效约束了解空间。同时设计了轻量级去雾网络，在保证网络性能的同时减少了参数量。文中所提出的对比正则具有即插即用性，可广泛应用于其他去雾模型，但未在其他低层视觉任务上进行探索。未来工作将着力探索本文所提出的对比损失对其他图像复原类任务的有效性，以及对比学习在模型压缩方面的其他应用形式。