Unsupervised Night Image Enhancement: When Layer Decomposition Meets Light-Effects Suppression论文阅读笔记

这是ECCV2022的一篇为无监督暗图增强的文章，主要思想是抑制灯光效应的同时增强黑暗区域的亮度，如下图所示

• 文章主要贡献可以分为三点，一是提出了一个 layer deconposition and light-effect suppression框架；二是提出了light-effects layer；三是提出了一个基于structure and high frequency features consistency 的损失函数
• 下面这篇文章提出了基于相机的响应函数和HDR成像过程来进行亮度抑制的方法，需要重点关注一下：

Sharma, A., Tan, R.T.: Nighttime visibility enhancement by increasing the dynamic range and suppression of light effects. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. pp. 11977{11986 (2021)

网络结构

• 将图片送进layer decomposition网络（由三个并行的互不相关的网络组成），将图片分解为三个分量：light-effects（G）、shading（L）和 reflectance（R）。并将G作为新的通道concatenate到L和R的乘积J后面，送进网络产生抑制了亮度的增强结果。

layer decomposition

• 在训练的初始阶段，$G$ 和 $L$ 使用 $G_i$ 和 $L_i$ 进行监督，其中$G_i$ 是对输入的图像做二阶拉普拉斯滤波生成的光滑图，$L_i$是对输入的图像各个位置的三个通道取最大值生成的灰度图。直接做L1损失
  
• 文中提出，G的梯度图具有短尾分布（即G图平滑，梯度较小，且几乎不存在大的梯度），而J的梯度图具有长尾分布。借助此特性，设计了一个称为gradient exclusion loss的损失函数，来使得G和J的梯度具有较大的差距：
  
• 其实就是对G和J的梯度分别进行三种不同尺度的下采样后归一化，计算之间的点乘，并取弗罗贝尼乌斯范数。弗罗贝尼乌斯范数是一种矩阵范数，定义如下：
  
• 还对J的颜色进行了约束（类似Zero-DCE中的color loss）
  
• 还有就是要求预测的三个分量拼回去还能复原出原图的重建损失：
  

light-effects suppression

• 在enhance的过程中，用到了前面生成的G图。首先是将G图concatenate到J图后面作为enhance的输入，其次还resize成不同的尺度，去乘以encoder生成的多尺度特征图（文中说了有这么做，但图片中也没有体现）
• 还利用了类似GAN的形式对encoder进行训练，encoder的输入除了上述的这一类输入外，还存在另一类输入，也就是不受light effect影响的图片以及其空的light effect图，分类器要区分这两类输入，而特征提取器要能够提取出能够混淆分类器的特征（但我觉得奇怪，虽然文中明确说了第二类的G图是dummy all zero map，那前面又说会用G来乘以中间特征图，那不是就把特征图乘成0了吗，如果是特殊处理，文中也没有说啊）。
  
• 论文设计了下面的公式来提取不受light effect影响的灰度图：
  
  
• 由于用于加权像素值的w是这样的计算方式，使得像素值离0.5越远（如过曝和欠曝的区域），权重越小。这样计算的$w_c$表示的是how well-exposed a pixel is。这个公式是很有意思，但我觉得用这样的加权值会导致原本就很暗的地方更暗了，似乎有些问题。
  
• 对上面球的的$I_{gray}$计算如下损失：其中${\varphi }_{HF}$表示用导向滤波提取高频特征，${\varphi }_{VGG}^l$表示用VGG提取的第$l$层特征，实验中取第15层。文章认为这两种特征保留了结构信息，因此可以用来监督enhance使得图片的结构信息得以保留。
  
• 注意前面的公式写的是斜体的$I_{gray}$而下面的写的是正体的，是因为前面的公式提取出来的只有一个通道，为了和$J_{fine}$的三通道相匹配，copy了三份作为三个通道的值：
  
• 对于增强结果使用了GAN的对抗损失：
  
• 以及对没有light effect的图片希望输出的是原图：
  

实验结果

• 就上图所示的实验结果看来对过曝的抑制和欠曝的提升还是效果不错的。

• user study：
  

• 文章比较了在有监督数据集上的PSNR和SSIM（我有点好奇这两个数据集是怎么有成对图像的，看起来应该不是暗图增强的数据集）

• 

• Yan, W., Tan, R.T., Dai, D.: Nighttime defogging using high-low frequency decomposition and grayscale-color networks. In: European Conference on Computer Vision. pp. 473{488. Springer (2020)
• Metari, S., Deschenes, F.: A new convolution kernel for atmospheric point spread function applied to computer vision. In: 2007 IEEE 11th international conference on computer vision. pp. 1{8. IEEE (2007)

• 在有监督的暗图增强数据集上进行了PSNR和SSIM的比较（在暗图增强任务上将G设为0）：