Kindling the Darkness：A Practical Low-light Image Enhancer阅读札记
Kindling the Darkness：A Practical Low-light Image Enhancer阅读札记
论文发表于2019年的ACM MM。
1 Abstract
本文将低照度图像增强中的挑战总结如下：
• 如何从单幅图像中有效估计照度分量？
• 如何增强低照度图像亮度的同时消除噪声和色彩失真？
• 如何在没有GT光照图的情况下训练模型？
针对以上挑战，本文提出KinD网络用于实际解决弱光增强问题，贡献如下：
• 受Retinex理论的启发，KinD将图像分解为反射分量和照明分量。
• KinD网络使用在不同曝光条件下捕获的成对图像进行训练，而不使用任何GT反射和GT照明信息。
• 本文模型提供了一个映射功能，用于根据用户的不同需求灵活调整光照水平。
• KinD网络包含一个模块可以有效去除暗区放大的噪声。
2 Method
网络框架图
KinD网络主要分为三个模块，包括 层分解、反射率恢复、光照调整。
2.1 Consideration & Motivation
2.1.1 Layer Decomposition
基于Retinex 理论，将图像 I I I分解为反射率分量 R R R和照度分量 L L L，即 I = R ◦ L I=R◦L I=R◦L。
2.1.2 Data Usage & Priors
在实际情况中，光照条件越暗，获得图像的退化就越严重，而这种退化被转移到了反射分量中。于是作者提出假设，弱光-强光图像对中，强光图像的反射率可以作为弱光图像的反射率的参考（GT）（这里的强光指的是比弱光亮度相对较高，而不是指过曝光）。所以可以将图像对中强光图像的反射图作为弱光图像反射图的GT，从而解决了没有明确GT图像带来的层分解不确定问题。
2.1.3 Illumination Guided Reflectance Restoration
在分解的反射率中，较暗区域的退化比较亮区域的退化更为严重，于是可以将弱光图形建模为 I = R ∘ L + E I=R∘L+E I=R∘L+E，其中 E E E表示退化分量。通过一系列代数步骤可以得到：
R ~ \tilde{R} R~：弱光图像的反射率
E ~ \tilde{E} E~：光照解耦后的退化分量
最终得到 E = E ~ ∘ L E=\tilde{E}∘L E=E~∘L，从这个公式可以看出，图像的退化分量 E E E需要照度图 L L L的引导得出。
2.1.4 Arbitrary Illumination Manipulation
不同的用户最喜欢的照明强度可能是多种多样的，因此一个实际的系统需要提供一个用于任意照明操作的接口。本文提倡从真实数据中学习灵活的映射函数，该函数接受用户指定任意级别的光照/曝光。
2.2 KinD Net
2.2.1 Layer Decomposition Net
在没有标准GT图像的情况下，使用不同照度图像对 [ I l , I h ] [I_l,I_h] [Il,Ih]作为网络的输入，层分解网络的目标是使得分解得到的反射图像对 [ R l , R h ] [R_l,R_h] [Rl,Rh]尽可能接近，照度图像对 [ L l , L h ] [L_l,L_h] [Ll,Lh]尽可能平滑和相互一致，分解得到的两个分量的像素积尽可能重构输入图像。根据以上条件提出损失如下：
反射相似损失：
‖ ⋅ ‖ 2 ‖⋅‖_2 ‖⋅‖2： l 2 l_2 l2范数(MSE)
照明平滑损失：
∇ ∇ ∇：包含 ∇ x ∇_x ∇x（水平）和 ∇ y ∇_y ∇y（垂直）方向的一阶导数算子
‖ ⋅ ‖ 1 ‖⋅‖_1 ‖⋅‖1： l 1 l_1 l1范数(MAE)
ϵ ϵ ϵ：小常数，避免零分母（本文中 ϵ = 0.01 ϵ=0.01 ϵ=0.01）
∣ ⋅ ∣ |⋅| ∣⋅∣：绝对值算子。
照明相互一致性损失：
M M M： M : = ∣ ∇ L l ∣ + ∣ ∇ L h ∣ M:=|∇L_l |+|∇L_h | M:=∣∇Ll∣+∣∇Lh∣
下图描述了公式 u ∘ e x p ( − c ⋅ u ) u∘exp(-c·u) u∘exp(−c⋅u)的函数曲线，其中 c c c是控制函数形状的参数。从图中可以看出，惩罚首先上升，然后随着 u u u的增加而下降到0。图像 I I I中的平坦区域梯度较小即 M M M较小，则惩罚较大；边缘区域梯度较大即 M M M较大，则惩罚越小。这一特征很好地符合相互一致性，即保持强相互边，而抑制弱相互边。
重构损失：
层分解网络总损失：
2.2.2 Reflectance Restoration Net
如图3所示，来自弱光图像的反射图比来自强光图像的反射图更容易受到退化的干扰，于是使用强光图像的反射图作为弱光图像反射图的GT。反射恢复损失如下：
S S I M ( ⋅ , ⋅ ) SSIM(·,·) SSIM(⋅,⋅) ：结构相似性度量
R ^ \hat{R } R^：弱光图像恢复的反射率
R h R_h Rh：强光图像的反射率
根据本文做出的假设，退化在反射图中复杂分布，并受照度分量的影响，于是将照度分量和退化后的反射分量一起送入反射恢复网络。该操作的有效性如图5所示：
2.2.3 Illumination Adjustment Net
图像不存在真实光照水平，因此为了满足多样化的需求，需要一种机制来灵活地将一种光照条件转换为另一种光照条件。现有成对的光照图，令强度比 α = m e a n ( L t / L s ) α=mean(L_t/L_s) α=mean(Lt/Ls)，其中 / / /表示逐像素除法。将较低级别的光调整到较高级别的光，则 α > 1 α> 1 α>1，否则 α ≤ 1 α≤1 α≤1。照度调节损失如下：
L t L_t Lt： L h L_h Lh或 L s L_s Ls
L ^ \hat{L} L^：从源光 L h L_h Lh或 L s L_s Ls到目标光的调整后的照度图
上图为照度调节网络和伽马校正处理照度图的差异，令伽马校正的参数 γ = ‖ l o g ( L ^ ) ‖ 1 / ‖ l o g ( L s ) ‖ 1 γ=‖log(\hat{L})‖_1/‖log(L_s)‖_1 γ=‖log(L^)‖1/‖log(Ls)‖1，以达到与照度调节网络相似的总光强度。这里考虑两种调整，包括一种向下调整和一种向上调整。
(a)：源照度图
(b)和(d)：通过伽马校正调整的结果
( c)和(e)：照度调节网络调整的结果
(f)~(k)：给出 x = 100 , 200 , 400 x=100,200,400 x=100,200,400处的一维强度曲线，分别对应于(a)中的红线、绿线和蓝线。
向下调整（强光调为弱光）：相对于伽玛校正，照度调节网络对于较亮区域降低了更多强度，对于较暗区域抑制更少或大致相同（如(f)中见红色框内，源照度图中强度大致为0.22的区域经伽马校正之后约为0.13，照度调节网络调整之后约为0.1）。
向上照明（弱光调为强光）：相对于伽玛校正，照度调节网络在相对较暗的区域上增加较少的光，而在较亮的区域上增加较多或大致相同。
作者认为，照度调节网络调整的结果更符合实际情况。
3 Experiment
3.1 Quantitative evaluation
数据集：LOL、LIME、NPE、MEF
评估指标：PSNR、SSIM、LOE、NIQE（PSNR和SSIM值越高越好，LOE和NIQE值越低越好）
竞争对手：BIMEF、SRIE、CRM、Dong、LIME、MF、RRM、Retinex-Net、GLAD、MSR、NPE
下表表示竞争者在LOL数据集上的数值结果：
由于LIME、NPE和MEF数据集没有GT参考图像，因此只采用NIQE来评估所涉及的方法之间的性能差异，如下图所示：
3.2 Qualitative assessment