ZERO-SHOT RESTORATION OF UNDEREXPOSED IMAGES VIA ROBUST RETINEX DECOMPOSITION 论文总结

目录

一、论文主要内容

二、RRDNet的工作流程

三、损失函数

1、Retinex重建损失

2、纹理增强损失

3、光照指导的噪声损失

4、损失函数公式

 三、实验结果

 四、代码复现结果

一、论文主要内容

1、提出了RRDNet，不需要提前训练，相反，权重更新依赖于输入单张图像的内部优化，这样确保了在不同场景和多种光照条件下的泛化能力(generalization capability)。

2、RRDNet有三个分支，可以预测光照(illumination)、反射率(reflectance)和噪声(noise)，最终能够调整光照和移除噪声，避免在增加图像对比度的时候放大噪声。

3、RRDNet设计了自己的损失函数，这样的损失函数既保证了恢复的图像有丰富的纹理细节又降低了噪声。

4、随着处理的图像的增多，RRDNet再遇到未处理过的图像的收敛速度增快，这显示了无监督学习的优势。

二、RRDNet的工作流程

如图所示，工作流程分为两个阶段，分别是分解和恢复。经过分解，图像I分为三个部分，反射图R，光照S和噪声N，为了简化，三个通道的光照都是相同的。

用于预测反射图和光照的分支的最后一层使用Sigmoid激活函数以确保最终的强度范围在[0,1]之间，用于预测噪声的分支的最后一层使用Tanh，以确保最终范围在[-1,1]之间，最终呈现的噪声图是经过正则化的。

在恢复图像阶段，通过γ来调整光照，这一参数是预定义的。

去噪的反射图可以用下图公式计算。

最终的去噪的恢复的图像为，

三、损失函数

1、Retinex重建损失

        图像的分解组件必须满足Robust Retinex的公式，将RGB三个通道中最大强度值S的初始值，在此基础上约束反射图和噪声。 

2、纹理增强损失

        通过平滑的光照图可以增强暗区域的纹理细节，公式中x和y是水平和垂直方向，Wx和Wy是确保图像平滑的权重参数。

        权重与梯度呈反比，梯度大的地方权重小，梯度小的地方权重大，因此将高斯滤波G放在分母，这里公式中的I是输入图像转换成的灰度图，Wy的计算方式和Wx的相同。

3、光照指导的噪声损失

        为了增加图像的清晰度增加了图像的对比度，与此同时，图像的噪声也被放大，出于以下两点限制噪声：1)噪声的范围需要被限制。2)噪声可以平滑的反射图限制。

 

 

4、损失函数公式

        经过实验验证，γ=0.4，λt=1，λn=5000效果最好。

 三、实验结果

在几个常用无标签数据集上进行实验，包括MEF，LIME，DICM，NPE。

 四、代码复现结果

左侧是原图，右侧是增强后的图片。

 左侧是光照图，右侧是调整光照图

 

 左侧是反射图，右侧是噪声图