CVPR2022Oral专题系列(一)：低光增强

目录

1. 简介

2. SCI

3. 实验结果

Reference

---

1. 简介

顾名思义，低光增强就是把曝光异常的图片作为输入，通过计算，重建曝光信息，使得原本受到曝光影响的区域，其内部的像素细节能够被显示出来。这项技术被广泛的应用在数字成像系统，图片后期处理软件等。目前主流的工作可以被分为两个部分，Model-based 和 Network-based。Model-based方法基于Retinex理论[2]，对低光增强任务简历基本的物理法则，即低光观测能够被分解为光照和反射率两个部分。受限于法则自身，其重建的结果往往不能满足要求。Network-based基于数据集建立曝光优化函数。类似于LOL数据集[3]包含了时序性的曝光信息，使得基于该数据集训练网络，能够覆盖更复杂的图片，生成更高质量的结果。但是，这类方法并不稳定，对场景敏感。

本文介绍的工作，提出一种自校正光照（SCI）学习框架，兼具快速，灵活且对过曝鲁棒等优势。使用一个无监督的训练损失，来提升模型能力以提高其通用性。文章还介绍了使用SCI在无意识操作以及模型无关通用性的性能。在低光人脸识别以及夜间场景分割两个应用中，SCI发挥了非常优秀的性能。可见，本文重要的贡献就是SCI。接下来，我们就具体来看一下SCI实现细节。

---

2. SCI

本文所提的SCI包含两个主要的贡献：1）分级自校正模块用于权重共享的光照学习；2）无监督训练损失。根据Retinex理论，存在一个低光图像与同场景正常图像的对应，即：

其中y表示低光图像，z表示正常图像，x为光照部件。那么低光增强的目标就是对x建模。受到[4][5]的启发，SCI建立了一种赋权的渐进视角来实现对x的建模：

t表示的是渐进更新步数，可以看到x是被渐进的更新的，其更新参数为u。Hθ使用权重共享机制，使用了相同的H架构和权重θ在每一次更新中。事实上被参数化的算子Hθ学到一个在x与y之间的简单的残差表示ut。这是因为在大部分情况下，x和y在某些区域相似或存在线性关系。与直接映射相比，使用渐进的学习方法能够在每一次更新时降低计算难度，并提升稳定性，尤其对于曝光控制。

自校正模块

在这里，我们的目标是定义一个模块，使每个阶段的结果收敛到同一状态。我们知道，每一阶段的输入都源于前一阶段，而第一阶段的输入肯定被定义为弱光观测。一个直观的想法是，我们是否可以将每一阶段(除第一阶段)的输入与弱光观测(即第一阶段的输入)连接起来，间接探索每一阶段之间的收敛行为。为此，我们引入了一个自校准模块映射s，并将其添加到弱光观测中来，表示为

t>=1,vt为每一步中被转换的输入，Kθ被介绍过的参数化算子伴随可学习的参数θ。于是在t步的转变能够被写成:

对于这样的设计，我的理解是对之前的F(xt)做了进一步的拆解，使得渐进的光照部件更新部件能够在每一步获得更充分的学习与校正，以适应残差网络设计的原始目标，即通过输入补偿获得更好的结果。

无监督训练损失

考虑到现存数据配对不准确的问题，文章定义了总的损失：

Ls和Lf表示平滑与保真损失，对应两个控制权重。保真损失保证估算的光照与每一步输入的像素级别的一致性，表示为：

 平滑损失被广泛使用，伴随一个L1范数空间位移，本文给出Ls项：

N就是通用的邻域表示。平滑损失较好的刻画了像素空间关系，以保持语义一致性。权重我觉得大概率应该是用高斯权，作者给的是：

看起来有点复杂的高斯权。。。

---

 3. 实验结果

Fig1. 在添加了SCI后，可以看到RUAS[5]的过曝问题被明显的抑制了。 

Fig2. 相比传统方法，SCI得到了更加真实，精准的结果。

---

总结

SCI通过对整个更新结构进行拆解，在每一步学习过程中，使用权重共享的学习机构，来渐进的实现对光照部件的模拟，使得整个光照加强模型能够获得较快的收敛速度，同时保证了低光图像与优化后图像基于光照部件的关联关系，抑制了过曝的情况。

---

Reference

[1] Ma L, Ma T, Liu R, et al. Toward Fast, Flexible, and Robust Low-Light Image Enhancement [C]. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2022: 5637-5646.

[2] Zia-ur Rahman, Daniel J Jobson, and Glenn A Woodell. Retinex processing for automatic image enhancement. Journal of Electronic Imaging, 2004, 13(1):100–111.

[3] Wei Chen, Wenjing Wang, Wenhan Yang, and Jiaying Liu. Deep retinex decomposition for low-light enhancement. In British Machine Vision Conference, pages 1–12, 2018. 2, 7.

[4] Xiaojie Guo, Yu Li, and Haibin Ling. Lime: Low-light image enhancement via illumination map estimation. IEEE Transactions on Image Processing, 26(2):982–993, 2017. 2.

[5] Risheng Liu, Long Ma, Jiaao Zhang, Xin Fan, and Zhongxuan Luo. Retinex-inspired unrolling with cooperative prior architecture search for low-light image enhancement. CVPR, 2021.