微光增强的深Retinex分解——思路整理

传送门：
文章地址： http://arxiv.org/abs/1808.04560
源码地址： https://github.com/weichen582/RetinexNet

一、模型结构

Retinex模型假设把图像分解为反射率和光照两部分。在本文中，我们收集了一个包含低/正常光图像对的低光数据集(LOL)，并提出了一个基于该数据集的深度Retinex-Net，包括用于分解的Decom-Net和用于照明调节的Enhance-Net。

可以用下边的公式来表示：

R为反射率，I为光照，◦为element-wise乘法

整个增强过程分为三个阶段：分解、调整和重构。然后用S_normal和S_low作为输入，分别估计出R_normal、I_normal和R_low、I_low。

第一阶段是分解阶段，用子网Decom将输入图像分解为反射率和光照。具 体步骤如下：
① 使用一个3x3卷积层从输入图像提取特征；
② 用几个ReLu为激活函数的3x3卷积层将RGB图像映射为反射率和光照；
③ 再用一个3x3卷积从特征空间投射出R和I；
④最后使用sigmoid函数将R和I约束在[0,1]的范围内。
损失函数由三部分组成：具体公式如下：

其中λir和λis表示用于平衡反射率一致性和光照平滑度的系数
重构损失Lrecon：

恒定反射率损失Lir：

光照平滑度损失Lis：

∇h为包括∇h(水平)和∇v(垂直)的梯度，λg为平衡结构意识强度的系数

第二阶段是调解阶段，用Enhance_Net对光照进行分级调整。如果有M个上采样模块
① 每个块提取一个C通道特征图；
② 通过最近邻插值将这些特征按不同的尺度调整到最终尺度，并将它们连接到一个CxM通道特征图；
③ 通过1*1的卷积层，将连接的特征简化为C通道；
④ 使用3x3卷积层重建光照I。
损失函数由重建损失Lreon和光照平滑损失Lis两部分组成

重建损失Lreon：

光照平滑度损失Lis：

二、实验

1. 数据集

数据集包括两类：真实的摄影对和从原始图像合成对

真实拍摄的图像： 500对微光/正常光数据集，且包括了很多不同的场景，还是用了三步法来消除数据集中图像对之间的不对准

原图合成的图像：

收集公共MEF、NPE、LIME、DICM、vv1、Fusion数据集270张弱光图像将图像转换为YCbCr通道，计算Y通道的直方图。

从RAISE[4]中采集1000张raw图像作为normal-light图像，计算YCbCr中Y通道的直方图。

由下图可见，合成图像的光照分布与弱光图像匹配。

2. 实验设置

首先对分解网络和增强网络进行训练，然后利用带反向传播的随机梯度下降(SGD)端到端对网络进行微调。

• 有500对图像的LOL数据集，被分成485对用于训练，另外15对用于评估
• 网络在485幅真实图像对和1000幅合成图像对上进行训练
• Decom网络需要5个卷积层，在没有ReLU的2个对流层之间有ReLU激活
• Enhance网络由3个向下采样区和3个向上采样区组成
• batch_size=16
• patch size=96×96。
• lir、lis和lg分别设置为0.001、0.1和10。
• 当i != j时，li j设置为0.001，当i = j时，li j设置为1。

2. 实验结果

我们的解压网络能够从文本区域和平滑区域两组不同光照条件下的图像中提取出基本一致的反射率。弱光图像的反射率与正常光图像的反射率相似，只是在真实场景中出现了黑暗区域的放大噪声。另一方面，照明贴图描绘了图像上的亮度和阴影。与我们的结果相比，LIME在反射率上留下了很多光照信息。

我们将我们的retinx-net与四种最先进的方法进行了比较，包括基于去雾的方法(DeHz)、自然度保留增强算法(NPE)、同时反射和光照估计算法(SRIE)[8]和基于光照图估计的方法(LIME)。

从每一个红色矩形中可以看出，我们的方法在不过度曝光的情况下，充分地提高了隐藏在暗亮度下的物体的亮度，这得益于基于学习的图像分解方法和多尺度定制光照贴图。与LIME相比，我们的结果没有部分过度暴露(看看静物中的叶子和室外的叶子)。与DeHz相比，这些物体没有暗边，DeHz受益于加权电视损失条款(见街道上房屋的边缘)。

三、反射上去燥

采用BM3D作为视神经网络去噪操作。由于噪声在反射率上被不均匀地放大，我们使用相对照明策略。我们比较了我们的联合去噪视网膜网与两种方法，一种是LIME去噪后处理；另一种是JED，一种最近的联合微光增强去噪方法。如图7所示，使用Retinex-Net可以更好地保留细节，而LIME和JED则模糊了边缘。

四、结论

本文提出了一种深度Retinex分解方法，该方法可以在不考虑反射率和光照分解的真实情况下，以数据驱动的方式学会将观测图像分解为反射率和光照。介绍了光照的后续光增强和反射率的去噪操作。对分解网络和微光增强网络进行端到端训练。实验结果表明，该方法具有良好的图像分解效果和良好的增强效果。