low-light系列：Lightening Network for Low-light Image Enhancement

前言

文章下载链接在后面
这是一篇顶刊TIP2020的文章，重点在于：

• 文章将暗光增强任务视为一个求residual（残差）的任务
• LBP模块的提出，借用了SR（超分辨率）任务中的back-projection思想
• 可调亮度的参数γ
• 没有采用常用的L1、L2作为loss，而是采用SSIM loss 与TV smooth loss
• 暗光增强任务需要融合global和local不同层级的特征才能很好地完成任务

residual的假设

$$Y=X+\gamma P(X)-n$$
其中将$P()$是提亮操作，X是原图，γ是参数，减去n是噪声，Y是期望的图像。
简单的，即原图X加上提亮操作后的残差再减去噪声，即成为期望的提亮图像。在论文中，认为低光图像和正常光照图像差距体现在像素value上的不同，即低光数值低，正常光数值高。论文中有更加详细的解释。

DLN网络结构

网络结构如图，输入低光图像，经过一系列模块后计算出残差，再加上最开始的原图X，得到期望的图像Y。

LBP

BP是back-projection，是来自于超分领域的思想，作者将其成功应用在暗光增强领域，成为lighten BP，即LBP

这里需要结合公式，以及这张图进行理解：

$$\hat{Y}={\lambda }_2{L}_1(X)+L_2(D(L_1(X))-{\lambda }_{1}X)$$
参数在图中都有展示，

• 首先是L1，提亮操作，第一次将原图X提亮，得到$\tilde{Y}$，
• 再经过D，将其变暗得到$\tilde{X}$，
• 作者认为，提亮又变暗的$\tilde{X}$应该是和原图X一模一样才对（类似cycle gan），但是实际上肯定是有差距的，而这个差距就是低光残差${\tilde{R}}_{LL}$，
• 再进行一次提亮操作L2，这时候的结果与之前$\tilde{Y}$相减为正常光残差${\tilde{R}}_{NL}$，
• 用公式来展示的话即上面的公式，λ为参数，得到最终的期望图像。

Feature Aggregation(FA)

图中的FA是上面网络结构中右侧FA作为展示，有三个输入。

• 首先将三个不同输入cat（相同scale），经过卷积和全局池化得到squeezed vector，这时候的向量代表了各个不同通道的显著特征，
• 经过两个全连接（1个是16/C，一个是C）得到重新分配过后的weight vector，然后expand变回原始大小，
• 进行element-wise 相乘，再使用conv kernel size为1的卷积降维为WHC
• 整个过程类似SENet

如此，将图像中的不同层级的最显著特征提取出来并融合

Loss

本文中并没有如其他暗光增强任务，使用L1 loss和L2 loss，而是直接使用了SSIM loss和TV smooth loss：


loss详细介绍请参考论文。

消融实验

作者做了使用不同loss、使用残差和不适用残差、使用不同数量LBP模块、是否使用FA模块的实验，来证明本文方法的优势。
具体参见论文。

视觉效果对比

文章下载链接：www.sci-hub.ren/10.1109/TIP.2020.3008396