CVPR 2022 Oral | SCI：实现快速、灵活与稳健的低光照图像增强
作者丨马龙
来源丨大连理工大学
编辑丨极市平台
论文地址：https://arxiv.org/pdf/2204.10137.pdf
代码地址：https://github.com/vis-opt-group/SCI
本文提出了一种全新的低光照图像增强方案：自校准光照学习（SCI）。通过构建引入自校准模块的权重共享光照学习过程，摒弃了网络结构的繁杂设计过程，实现了仅使用简单操作进行增强的目的。大量实验结果表明，SCI在视觉质量、计算效率、下游视觉任务应用方面均取得了突破（见图1）。该研究已被CVPR 2022收录为Oral。
图1 本文提出方法与其他方法的结果对比
1 研究背景
低光照图像增强作为图像处理中的经典任务，在学术界与工业界均受到了广泛关注。2018-2020年连续举办三届的UG2+Prize Challenge比赛将低光照人脸检测作为主竞赛单元，极大程度推动了学术界对于低光照图像增强技术的研究。某手机厂商于2019年发布会上将暗光拍摄能力作为主打亮点，掀起了工业界利用深度学习技术解决低光照图像增强的又一波浪潮。
现有的低光照图像增强技术聚焦于构建数据驱动的深度网络，通常其网络模型复杂，导致计算效率低、推理速度慢，并且由于对于训练数据分布的依赖性导致其在未知场景下的性能缺乏保障。总的来说，现有技术普遍缺乏实用性。为解决以上问题，本文致力于从学习策略入手，构建一种快速、灵活与稳健的低光照图像增强方案。
2 本文方法
（1）权重共享的光照学习
根据Retinex理论，低光照观测图像等于清晰图像与光照的点乘，即。在基于该模型设计的方法中，光照的估计通常被视为主要的优化目标，得到精确的光照后，清晰图像能够上述关系直接得到。受现有工作的逐阶段光照优化过程启发，本文构建渐进式的光照优化过程，其基本单元如下所示：
402 Payment Required
其中 与 分别表示第t阶段的残差与光照。 表示光照估计网络。需要注意的是这里 与 阶段数无关, 即在每一阶段光照估计网络均保持结构与参数共享状态。进一步理解该模块能够 发现, 在渐进式优化与参数共享机制下, 每个阶段均希望得到与目标接近的输出。换句话说, 是否存在一种可能, 能够令每个阶段的输出尽可能接近且与目标一致, 这样一来, 多阶段级联 测试变为单阶段测试, 将大幅减少推理代价。为实现该目标, 如下引入了一种自校准模块。
图2 本文算法流程图
（2）自校准模块
该模块的目的在于从分析每个阶段之间的关系入手，确保在训练过程中的不同阶段的输出均能够收敛到相同的状态。自校准模块的公式表达如下所示：
402 Payment Required
其中是校准后的用于下一阶段的输入。也就是说，原本的光照学习过程中第二阶段及以后的输入变成了由上述公式得到的结果（总的计算流程如图2所示），即光照优化过程的基本单元被重新公式化为：
实际上，该自校准模块通过引入物理规律（即Retinex理论），逐步校正了每一阶段的输入来间接地影响了每一阶段的输出，进而实现了阶段间的收敛。图3探究了自校准模块的作用，可以发现，自校准模块的引入使得不同阶段的结果能够很快地收敛到相同状态（即三个阶段的结果重合）。
图3 关于测试阶段是否采用自校准模块的增强结果t-SNE分布对比（阶段数为3）
（3）无监督损失函数
为了更好地训练提出的学习框架，该部分设计了一种无监督损失函数，以约束每一阶段的光照估计，公式表示如下：
402 Payment Required
其中前一项与后一项分别代表数据保真项及平滑正则项（关于各个变量的详细说明请参见论文）。
3 实验结果
（1）定量分析
表1展示了在著名的MIT-Adobe FiveK数据集上的定量结果对比，可以看出，提出方法取得了最优性能。值得注意的是，尽管提出方法为无监督方法，但其在PSNR与SSIM这类有参考指标上的结果均实现了最优，究其原因在于该数据集的Ground Truth是由专家修饰得到的，也说明了提出方法生成的结果更符合人类视觉习惯。
表1 在MIT-Adobe FiveK数据集上的定量结果对比
（2）真实场景下的视觉对比
图4展示了两组在有难度的真实场景下的增强结果对比。可以看出，相比于其他的方法，提出方法的增强结果亮度适中、细节丰富、色调自然、具有更高的视觉质量。
图4 真实场景下的增强结果对比
（3）下游任务性能分析
为了进一步探究SCI的优势，本文比较了在低光照人脸检测与夜间语义分割两个下游任务的性能。在低光照人脸检测任务中，定义了两种与SCI相关的版本，一种是将SCI作为预处理来实现数据的亮度增强（其他对比方法采用相同方式）并在该数据基础上微调检测网络，另一种是SCI与检测网络联合微调（记为SCI+）。图5中展示了检测结果，可以看出，本文提出的方法具有明显优势，能够检测出更多的小目标。
图5 低光照人脸检测结果对比
图6展示了夜间语义分割性能，可以看出，SCI获得了有竞争的数值结果，同时在类别划分上更准确，边缘刻画更清晰。
图6 夜间语义分割结果对比
4 总结与展望
本文提出的SCI在图像质量和推理速度方面均取得了突破，为低光照图像增强任务的解决提供了一种新的视角，即如何在有限资源下赋予网络模型更强的刻画能力，该种视角相信也能够为其他相关视觉增强领域带来启发。未来，作者将继续探究如何设计更有效的学习手段来建立轻量、鲁棒、面向更具有挑战真实场景的低光照图像增强方案。
本文仅做学术分享，如有侵权，请联系删文。
干货下载与学习
后台回复：巴塞罗那自治大学课件，即可下载国外大学沉淀数年3D Vison精品课件
后台回复：计算机视觉书籍，即可下载3D视觉领域经典书籍pdf
后台回复：3D视觉课程，即可学习3D视觉领域精品课程
计算机视觉工坊精品课程官网：3dcver.com
1.面向自动驾驶领域的多传感器数据融合技术
2.面向自动驾驶领域的3D点云目标检测全栈学习路线！(单模态+多模态/数据+代码)
3.彻底搞透视觉三维重建：原理剖析、代码讲解、及优化改进
4.国内首个面向工业级实战的点云处理课程
5.激光-视觉-IMU-GPS融合SLAM算法梳理和代码讲解
6.彻底搞懂视觉-惯性SLAM：基于VINS-Fusion正式开课啦
7.彻底搞懂基于LOAM框架的3D激光SLAM: 源码剖析到算法优化
8.彻底剖析室内、室外激光SLAM关键算法原理、代码和实战(cartographer+LOAM +LIO-SAM)
9.从零搭建一套结构光3D重建系统[理论+源码+实践]
10.单目深度估计方法：算法梳理与代码实现
11.自动驾驶中的深度学习模型部署实战
12.相机模型与标定(单目+双目+鱼眼）
13.重磅！四旋翼飞行器：算法与实战
14.ROS2从入门到精通：理论与实战
15.国内首个3D缺陷检测教程：理论、源码与实战
重磅！计算机视觉工坊-学习交流群已成立
扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。
同时也可申请加入我们的细分方向交流群，目前主要有ORB-SLAM系列源码学习、3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、深度估计、学术交流、求职交流等微信群，请扫描下面微信号加群，备注：”研究方向+学校/公司+昵称“，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进去相关微信群。原创投稿也请联系。
▲长按加微信群或投稿
▲长按关注公众号
3D视觉从入门到精通知识星球：针对3D视觉领域的视频课程（三维重建系列、三维点云系列、结构光系列、手眼标定、相机标定、激光/视觉SLAM、自动驾驶等）、知识点汇总、入门进阶学习路线、最新paper分享、疑问解答五个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近4000星球成员为创造更好的AI世界共同进步，知识星球入口：
学习3D视觉核心技术，扫描查看介绍，3天内无条件退款
圈里有高质量教程资料、答疑解惑、助你高效解决问题
觉得有用，麻烦给个赞和在看~