论文笔记：Underexposed Photo Enhancement using Deep Illumination Estimation

Underexposed Photo Enhancement using Deep Illumination Estimation

来源：CVPR2019

优点：

• We propose a network for enhancing underexposed photos by estimating an image-to-illumination mapping, and design a new loss function based on various illumination constraints and priors.

• We prepare a new dataset of 3,000 underexposed images, each with an expert-retouched reference.

• We perform evaluation on our method using existing and new datasets, and demonstrate the superiority of our method qualitatively and quantitatively.

  （基于Retinex，那么这个网络与其他网络的区别在哪？下采样又上采样的依据是什么？）

提出背景：

我们的方法对现有的learning-based方法有两方面的补充：

首先，我们估计光照映射，不像其他的基于图像到图像的回归。第二，我们的新数据集完全适合曝光不足的照片增强，它补充了其他基准数据集，并在不同的照明中提供了更多的现实世界的例子条件。

Methodology：

Image Enhancement Model

基础模型：

Network Architecture

Enhancing underexposed photos requires adjusting both local (e.g., contrast, detail sharpness, shadow, and highlight) and global features (e.g., color distribution, average brightness, and scene category). We consider local and global context from the features generated from an encoder network; see Figure 3 (top).

To drive the network to learn the illumination mapping from the input underexposed image ($I_i$) and corresponding expert-retouched image (${\tilde{I}}_i$), we design a loss function, with a smoothness prior on the illumination and a reconstruction and color loss on the enhanced image; see Figure 3 (bottom).

总而言之：learn the illumination mapping $S$ from a set of $N$ image pairs ${\left\{(I_i,{\tilde{I}}_i)\right\}}_{i=1}^N$. It produces $S$ and the enhancement result $F(I)=S^{-1}\ast I$.

Loss Function

1. Reconstruction Loss

we define the L2 error metric to measure the reconstruction error:

我们通过最小化重建损失，观察到更清晰的细节和更好的对比效果。虽然重建损失增强后的图像看起来更像expert-retouched(专家修饰过的)图像，但仍然存在不能产生正确的对比度细节和生动色彩的风险。

2. Smoothness Loss

First, it helps reduce over-fitting and increase the network’s generalization capability. Second, it enhances the image contrast.

直观地说，平滑损失鼓励光照在小梯度的像素上是平滑的，在大梯度的像素上是不连续的。值得注意的是，曝光不足的照片，图像内容和细节往往很薄弱。大的梯度更有可能是由不一致的照明引起的。通过进一步融合平滑损失，与只考虑重建损失的结果相比，我们恢复了较好的图像对比度和更清晰的细节。

3. Color Loss

我们在其他颜色空间中使用这个简单的公式而不是L2距离的原因如下。首先，重建损失已经隐含地测量了L2色差。其次，由于L2度量仅在数字上度量色差，它不能确保颜色向量有相同的方向。因此，度量可能会引起明显的颜色不匹配。最后，对网络计算来说，该公式简单、快速。

各损失项作用展示：

Training Dataset

准备了一个含3000张图片的数据集。不用MIT-Adobe FiveK dataset 的原因：

1. FiveK数据集主要是为了增强普通照片，而不是曝光不足的照片。其仅含一小部分（大约4%）的曝光不足图像。
2. 基准数据集中曝光不足的图像覆盖了有限的光照条件，它缺乏具挑战性的情况如夜间图像和照明不均匀的图像。

自己拍摄图像+从Flickr搜集图像。聘请摄影专家，用Adobe Lightroom制作参考图。将整个数据集随机分为两部分，其中2750张用以train，剩下的用以test。

Implementation Details ：

Experimental Results：

Comparison with State-of-the-art Methods

Visual Comparison

Quantitative Comparison

User Study

Discussions

Limitations

Conclusion:

我们提出了一种新的端到端网络来增强曝光不足的照片。
我们的核心思想是学习一种图像到照明(而不是图像到图像)的映射，利用自然图像中照明的简单性，让网络有效学习
丰富的摄影调整。
此外，我们设计了一个损耗函数，采用光照的各种约束和先验，创建了一个包含3000对曝光不足图像的新数据集，使我们的网络能够在曝光不足的照片中恢复清晰的细节、鲜明的对比度和鲜艳的色彩。
我们也在我们的数据集和MIT-Adobe FiveK数据集上进行了广泛的试验。将我们的方法和五个SOTA方法进行比较，来展示我们的解决方案的优越性，其中包含视觉比较、基于PSNR和SSIM的定量比较、和一个涉及500名参与者的用户研究。

我们未来的工作是将去噪模块合并到我们的网络中，并将我们的方法扩展到处理视频。另一个方向是利用场景语义分析和摄影图像合成技术来解决接近黑色的区域。

个人记录：

阅读时间：2021寒假