【论文笔记】—低照度图像增强—ZeroShot—RRDNet网络—2020-ICME

题目：Zero-Shot Restoration Of Underexposed Images Via Robust Retinex Decomposition

时间：2020年
会议：2020-ICME
机构：同济大学

论文链接：paper
代码链接：code
代码笔记：RRDNet 代码笔记

关键词：曝光不足的图像恢复、Retinex分解、zero-shot学习、去噪

提出问题：大多数低曝光图像恢复方法忽略噪音，并在拉伸对比度时将其放大。

解决方案：

提出一种新的三分支卷积神经网络RRDNet。将输入图像分解为三个分量：照明、反射和噪声，通过对loss进行迭代来有效估计出噪声和恢复光照，从而明确预测噪声以达到去噪的目的。

创新点：
1、零样本，该方案不需要任何先前的图像示例或先前的训练。
2、RRDNet的权重将通过迭代最小化特殊设计的损失函数的zero-shot方案进行更新。

Retinex原理： I = R * S        I-捕获图像  R-反射图像  S-光照图像

本文：             I = R * S + N  I-捕获图像  R-反射图像  S-光照图像  N-噪声

RRDNet三分支全卷积神经网络工作流程图：

1、分解

网络分别输出三个分支，分别是估计反射图R，估计光照图S和噪声图N

        这三个分支分别用于估计反射、光照和噪声。反射和光照分支以sigmoid层结束，以确保强度降至[0,1]。不同的是，为了更好地拟合加性噪声，使用tanh层作为噪声分支的最后一层，这可以使噪声值下降[-1,1]，图2所示的噪声图是为了可视化而标准化的。在最小化损失函数和更新RRDNet权重的迭代之后，可以生成输入图像的最终分解。

2、恢复

光照分量经过gamma变换：

将输入图减去噪声图N并除以S后进行变换得到估计的反射图

根据Retinex理论重构图像

3、损失函数的设计

其中Lr、Lt和Ln分别是重建损失、纹理细节损失、噪声损失。λt和λn是相应的权重因子。

3.1 Retinex重建损失

在Retinex理论中，R、G、B通道强度的最大值S0通常用作照明的初始估计，反射图像通过图像与其光照图之间的像素分割来计算。同时，为简单起见，通常假设三个颜色通道具有相同的照明。

L1范式引导网络产生更清晰的光照分量和反射分量。

3.2 纹理增强损失

用分段平滑的光照损失来代替纹理增强损失

 

在自然图像中，表面的照明强度通常相对平坦。分段平滑的光照图有助于增强暗区域的纹理。这是因为，当相邻像素的亮度接近时，它们的对比度将在除以[0,1]中的相同照度值时被放大。

其中G是高斯滤波器，◦ 表示卷积运算符，Ig表示输入的灰度版本。wy可以用类似的方法计算。 

3.3 光照引导噪声估计损失 

噪声损失 = 光照引导的噪声损失 + 分段平滑的反射损失

           

其中normalize表示最小最大规格化。我们为噪声估计设计的损失函数基于两个考虑。首先，需要限制噪声图中的值范围。其次，可以通过平滑反射分量来抑制噪声。与光照平滑不同，它将重点放在具有小水平和小垂直梯度的点上，确保平滑真实的噪声点，而不是边缘。为了估计黑暗中的噪声，上述两项被加权并受到光照图的限制。 

实验结果：

（a）是输入曝光不足的图像、（b）是恢复输出。

（c）局部平滑照明贴图、（d）无噪声且纹理丰富的反射、（e）聚焦于暗区域的噪声

客观评价：

NIQE（自然图像质量评估器）和CPCQI（基于颜色的面片对比度质量指数）

采用了两种常用的无参考图像质量评估指标来评估曝光不足的图像恢复方法。NIQE评估修复结果的整体自然度。CPCQI从平均强度、信号强度和信号结构分量三个方面评估了输入和增强输出之间的增强效果。较低的NIQE值大致对应较高的整体自然度，而较大的CPCQI值则表示较高的对比度。

如表1所示，在每个数据集上，RRDNet可以获得较低的NIQE值和较高的CPCQI值。

主观评价：

RRDNet能够以自然的方式揭示隐藏在图像暗区的细节，同时获得高质量的输出，而不会产生噪声伪影。

代码复现：

 by chaikeya 2022/4/19