论文阅读＜Joint Correcting and Refinement for Balanced Low-Light Image Enhancement＞

论文链接：https://arxiv.org/pdf/2309.16128v2.pdf

代码链接：GitHub - woshiyll/JCRNet

目录

Abstract

Motivation

Method

A  Feature Extraction(FES)   

B Joint Refinement Stage(JRS)

C Illumination Adjustment Stage(IAS)

D Loss Functions

Experiment

Abstract

        低照度图像增强任务需要在亮度、颜色和光照之间进行适当的平衡。而现有的方法往往只关注图像的某一方面，而没有考虑如何关注这种平衡，这会造成颜色失真和过度曝光等问题，这严重影响了人类的视觉感知和高级视觉模型的性能。在这项工作中，提出了一种新颖的协同结构，可以更有效地平衡亮度、颜色和光照。具体而言，本文提出的方法，即所谓的联合校正和精化网络( Joint Correction and Refinement Network，JCRNet )，主要由三个阶段组成，以平衡增强的亮度、颜色和光照。第一阶段：我们利用一个基本的编码器-解码器和局部监督机制来提取局部信息和更全面的细节进行增强。阶段2：跨阶段特征传递和空间特征变换，进一步进行颜色校正和特征细化。阶段3：采用动态光照调整方法，将预测图像与真实图像之间的残差嵌入到模型中，自适应地调整光照平衡。此外，为了验证我们的方法在下游视觉任务(例如,显著性检测)中的有效性，我们进行了一个更有说服力的实验。相比于几种增强模型，本文提出的方法有效地提高了显著性检测的分割结果和量化指标。

Motivation

1、通过对现有的方法分析，虽然在某些方面提升了低照度图像的质量，但是在亮度、颜色、曝光程度等方面仍缺乏合适的协同机制，使得低照度增强的过程中难以保持平衡。

2、注意力和局部监督机制有助于提取更全面的局部信息，有利于模型对亮度、颜色和光照的学习能力。

3、跨阶段特征传递()cross-stage feature transmission和空间特征变换可以恢复更多的细节信息，有助于颜色信息保真。

4、受到投影理论(back-projection)的启发，利用量化和暗化的步骤逐步学习残差信息，动态调整图像的亮度范围，避免增强图像的过曝。

Method

        网络整体结构如下图所示，具体来说包括三个阶段：特征提取(feature extraction)、联合细化(joint refinement)和光照调整(illumination adjustment)。三个阶段分工不同，相互协作，共同增强低照度图像。

A  Feature Extraction(FES)   

        上图左侧图中的Residual block对应于右图中绿色模块，用公式1表示。对输入的low-light image使用两个3*3卷积+PReLU残差块进行特征提取，是两个残差块后获得的feature map。

        上图左侧图中的ResCAB(残差通道注意力机制)对应于右侧第一行的剩余部分，用公式2、3、4表示，实际上就一个通道注意力机制。对两个残差块后提取到的feature map在通道上进行加权，提取了更多通道信息。

        左侧图中的Encoder-Decoder部分对应于右侧图中的第二行，能够提取更深层次的信息。并且引入了SSB模块(self-supervised block)去生成在第一阶段预测的图像特征和残差块获得的图像特征之间生成监督特征图。由此，以监督的方式提取了有效信息，然后传递到联合优化阶段。

B Joint Refinement Stage(JRS)

        经过特征提取阶段后，模型可以学习到原始图像的主要信息特征。然而，在一些图像中，亮度分布不均匀，存在极暗区域。为了改善这一问题，首先对R、G、B三通道图像进行空间特征变换，进行特征级和空间级的细节增强，然后根据Retinex理论对颜色失真问题[ 31 ]进行校正。

        如左图的RGB channel和右图的上方三个feature map所示，对提取到的feature map分别对RGB三个通道进行一系列的3*3卷积和ReLU激活，对特征进行进一步优化。

        优化以后进行左图的Detail enhancement，对应于右图上方的其他模块，把feature map和Spatial Feature Transform Layer (SFTL)连接。在SFTL中，使用调制参数和分别进行缩放和水平移动中间特征，这两个参数是通过先验条件获得的。通过这一操作，突出和锐化了细微特征，从而提高了图像质量。这一过程可以用如下公式表述，S1是RGB三个通道的feature map。调制参数通过空间特征变换学习获得，这两个参数对每个中间特征图世家空间域的仿射变换来自适应地影响输出。

        基于Retinex理论，假设每个通道中光照是独立估计的，这样得到的反射图可以保持源图像的原始色调。左图中的Color Correction对应于右图中下方的模块，使用多个Conv+BatchNorm+Activation进行矫正。JRS可以用如下公式建模，操作/代表逐像素相除，是FES的输出结果，S是Spatial feature transformation，R是color correction，E是detail enhancement。

C Illumination Adjustment Stage(IAS)

        反投影理论(back projection)通过利用增强过程中丰富的残差信息，在解决曝光不平衡问题中发挥着重要作用。受这一理论启发，假设亮化和暗化的操作完美，那么预测的图像和GT'就是完全一致的，但是由于操作不完美，所以pred image 和GT存在误差，这里根据残差信息逐步估计增强过程中异常量化操作的误差。

        在IAS阶段对JRS得到的feature map和Low-light image的feature进行拼接、校准和集成。然后使用一个lightening block L1去预测正常光照图，得到下边第一张图注的Estimated normal light，接着使用一个Darkening block去预测低光图像，得到Estimated low light，使用residual去计算Estimated low light和low-light input之间的差值，记为。对于使用另一个Lighten模块来估计残差值。最终把这个残差值加入到最终的预测图中，得到增强后的图像。

        lightening block包括encoding convolution，offset  convolution和decoding  convolution。首先，编码卷积包含一个Convolutional层和一个Parameterized ReLU层，将特征通道数从64个减少到32个，以提取更具代表性的特征。随后，使用偏移卷积来学习正常光照图像和低光照图像之间的差异。客观上，正常光照图像比低光照图像具有更大的像素值。PReLU是深度学习网络中用于去除偏移负值的一类激活函数。然后通过使用一个偏移量，通过将图像中每个像素的强度增加一个特定的值来调整图像亮度。最后，利用解码卷积将图像特征通道数从32个增加到64个。可以用如下公式建模，Xf是融合后的feature map，L1和L2是lightening block，D是Darkening block。

D Loss Functions

        边缘损失可以很好地考虑图像的高频纹理结构信息，提高图像的细节表现。将沙博尼耶损失和边缘损失合并作为网络模型的总损失函数。总损失中的λ值为0.05

Experiment

实验分析后续补充