低照度图像增强论文阅读笔记——ZERO-SHOT RESTORATION OF UNDEREXPOSED IMAGES VIA ROBUST RETINEX DECOMPOSITION

代码： 论文代码
论文 论文下载

1.摘要

低照度图像通常会出现严重的质量退化，如在黑暗中能见度差和潜在噪声。以往的低曝光图像复原方法大多忽略了噪声，在拉伸对比度的过程中对噪声进行放大。在增强低照度图像的同时，本文可以明确地预测噪声以达到去噪的目的。本文提出了一种新型的三分支卷积神经网络RRDNet(鲁棒Retinex分解网络的简称)，将输入图像分解为光照、反射率和噪声三个分量。作为一个特定于图像的网络，RRDNet不需要成对的图像训练。相反，RRDNet的权值通过专门设计的损失函数训练。设计了这样一个损耗函数来评估测试图像的电流分解和引导噪声估计。实验表明，RRDNet具有较强的鲁棒校正能力，具有整体的自然度和良好的视觉质量。为了使结果重现，源代码在https://aaaaangel.github.io/RRDNet-Homepage.

2.介绍

本文采用加了噪声的Retinex模型

将输入图像分解为三个分量，光照、反射和噪声。RRDNet是一种新颖的三分支CNN (Convolutional Neural Networks[6])，可以显式地估计输入图像的三个分量。分解后，可以对光照进行调整，去除噪声，最终得到一个无噪声且能见度高的输出。目前最先进的欠曝光图像恢复方法大多是基于学习的，但数据驱动的训练方案极大地限制了模型的泛化能力。在我们的方案中，在测试时对RRDNet进行训练，这意味着通过迭代地最小化特殊设计的损失函数来更新其权值。设计了这样一个损耗函数来评估输入图像的当前分解，并保证恢复后的输出质量。同时，它可以引导RRDNet根据光照分布估计噪声，从而进行去噪，避免噪声在黑暗中被放大。
使用以学习为基础的方法是最近的趋势。然而，数据驱动的方法在泛化能力方面有一个潜在的缺点。低曝光图像中暗区存在的潜在噪声也是目前大多数方法所忽略的问题。我们的贡献总结如下:

1. 提出了一种用于低照度图像增强网络，即RRDNet。RRDNet不需要事先培训;而是依赖于对单输入图像的内部优化，保证其在各种拍摄场景和各种光照条件下的泛化能力。
2. RRDNet有三个分支，可以预测输入图像的光照、反射率和噪声。这使得调整照明和完全消除噪声成为可能，以防止噪声在对比度拉伸后被放大。
3. 在RRDNet中，为了优化输入图像的分解，提出了一种新的损耗算法。这样的损失可以保证恢复的结果具有丰富的纹理细节。同时，它可以引导RRDNet根据光照分布重点估计较暗区域的噪声，从而进行更有针对性的去噪，避免噪声在黑暗中被放大。
4. 由于RRDNet的CNN结构，我们的方法可以学习Retinex分解的表示。随着图像处理次数的增加，在面对未见图像时，RRDNet收敛到最优分解的迭代次数减少，显示了无监督学习方案的优越性

3. RRDNet网络

上图为该方法的工作流程，包括分解和恢复两个阶段。在分解阶段，RRDNet是一个三分支全卷积神经网络，其结构如图2所示。这三个分支分别用于估计反射率、光照和噪声。估计反射率和光照的网络最后一层激活函数为sigmoid函数，以保证强度在[0,1]内下降。与之不同的是，为了更好地拟合加性噪声，在噪声估计网络的最后一层使用了tanh激活函数，使噪声值降至[−1,1]。图中所示的噪声图被归一化以便于可视化。经过迭代最小化损失函数(，更新RRDNet的权值，就可以生成最终的输入图像分解。
在恢复阶段，通过Gamma变换调整光照分量为:

伽马值是预先设定的，无噪声反射率可计算为:

将调整后的照度与无噪声反射率相结合，得到最终的恢复结果为:

4. 损失函数的设计

为了更新RRDNet的权值，我们需要一个损失函数来评估当前的分解，我们设计了一个损失函数L，它由三部分组成，

Lr、Lt、Ln为损失项，拉姆达t,拉姆达n为权重因子。
Retinex重建的损失：
图像的分解分量必须首先满足分解方程才能达到重构图像的要求，才能保证分解的合理性。
在Retinex理论中，R,G,B通道强度的最大值作照度的初始估计
反射率是通过图像和照度分量来计算的。文中选择这种方式作为照明和反射率的约束。Retinex重建损失可以表示为:

其中I表示的是输入图像，R为反射分量，S为光照分量，S0为估计的光照分量，N为噪声分量，||X||1为计算X里面所有元素之和。使用l1范数来引导网络产生明显的照明和反射。
根据retinex理论重构的图像为

纹理增强损失：
在自然图像中，通常一个表面的照明强度是相对平坦的。分段平滑光照图有助于增强暗区纹理。这是因为当像素值在[0,1]之间时，相邻像素强度相近时，除以相同的照度值，对比度会增大。为了保证纹理得到增强，平滑度损失项Lt被设计为:

其中x和y表示水平和垂直方向，Wx和Wy是保证估计图分段平滑的权值。受RTV损失[26]的启发，权重项应该与梯度成反比。这里我们将权重设计为，

其中G是高斯滤波器， ◦表示卷积算子，Ig(X)是输入的灰度图像。Wy可以用类似的方法计算。
光照引导下的噪声估计损耗：
在增强低照度图像时，将对暗区对比度进行拉伸，以提高其可见性。但与此同时，隐藏在黑暗中的噪音也会被放大。因此，有必要抑制噪声，特别是在黑暗区域。幸运的是，我们已经估算出了图像的光照图，它可以用来指导图像去噪任务，并且可以帮助RRDNet在黑暗中通过加权集中估计噪声。照明引导下的噪声估计损耗项设计为:

||X||F 表示矩阵X的Frobenius范数，wn和wr为光照引导权重项，设计为:

Normalize表示min-max归一化,我们设计的噪声估计的损失函数是基于两个考虑。
首先，噪声图的值的范围需要被限制。其次，通过平滑反射分量来抑制噪声。与光照平滑不同，它关注的是水平和垂直梯度都很小的点，确保了真正的噪声点而不是边缘被平滑。为了估计黑暗中的噪声，对以上两项进行了加权，并受光照图的限制。
分解实例如图所示。结合这三个损失项，最终的RRDNet可以收敛，将图像(a)分解为局部光滑的光照贴图©，无噪声且纹理丰富的反射率(d)，噪声集中在暗区(e)。(b)为恢复结果。

5.实验

我们进行了实验来比较RRDNet与最先进的低曝光图像恢复方法的性能，定量和定性。此外，还进行了消融研究，以评估RRDNet损失功能各组分的影响。
在所有实验中，我们设定γ = 0.4， λt = 1， λn = 5000。
数据集： MEF、LIME、DICM和NPE4个欠曝光图像数据集。

这是我的测试结果
光照分量

噪声分量

反射分量

增强结果图

6.评价

我测试的这副夜间图像，因为本身包含的大量噪声，所以效果没有达到我预期想要的结果。我看了好多增强和去噪算法在这幅图像上的效果都不是特别好。这个方法的增强效果也不是很出彩，包括作者在总结的部分也说未来会在光照调整部分进行调整。