暗光增强论文EEMEFN: Low-Light Image Enhancement via Edge-Enhanced Multi-Exposure Fusion Network翻译和解读

摘要

近年来，暗光图像增强技术发展不错，但仍存在三点问题：

1.低光图像通常是高对比度的，现有的方法可能无法在极暗或极亮区域恢复图像细节；

2.现有方法无法精确地校正微光图像的颜色；

3.当目标边缘不清晰时，像素级的损失函数（比如L1，L2损失函数）会对不同的物体进行相同的处理，并导致一个模糊的结果。（像素级的loss对图片的空间分布处理是平等的，这种损失函数会把损失平均的分到图像的每个像素点上，这样可能会导致一张清晰的原图和原图经过模糊化后的图像损失较小）

本论文提出了二阶段边缘增强的多曝光融合网络用于极暗图像的增强。

在第一阶段，使用多曝光融合模块来解决高对比度问题和颜色的偏差。本文作者通过原始图像设置不同的曝光时间比率来合成多张不同曝光值的图像，并通过融合多曝光图像中曝光良好的区域重建了一张正常曝光的图像。

在第二阶段，通过边缘增强模块提取到的边缘信息来细化原始的图片。

因此，作者认为本文的方法可以重建获得边缘清晰的高质量图像，并在See-In-the-Dark的数据集上取得了SOTA的效果。

介绍

本文主要研究弱光图像增强问题，目的是减少颜色偏差，从暗区域揭示隐藏信息。

传统的方法：通过对像素的增强来获得一个更加自然的分布。
深度学习方法:设计较深的网络来恢复高质量的图像。存在以下三个问题：
（1）由于low-light的图像的对比度较高，难以获得一个一对一的映射来恢复极暗和极亮的区域。生成的图像有可能存在噪声或者存在模糊。
（2）由于缺乏良好曝光的图像信息，可能会受到颜色畸变的干扰。
（3）像素级的loss对图片的空间分布处理是平等的，生成的图像边界容易模糊，细节也不是很好。

为了从高对比度微光图像中恢复曝光良好的图像，我们需要为不同的区域分配不同的曝光时间。例如，明亮区域需要比黑暗区域更短的曝光时间。我们从一幅低光图像中生成一组不同曝光时间的多曝光图像。具体地说，融合模块应该以互补的方式组合多曝光图像组中的曝光良好区域。
我们在See-in-Dark数据集上对提出的EEMEFN进行了评价。结果显示，我们的方法优于最新的方法。例如，我们在Sony分组上的峰值信噪比（PSNR）为29.60分贝，而Chen等人的峰值信噪比为28.88分贝。我们的方法将Fuji子集的结构相似性（SSIM）从0.680提高到0.723。

总结一下，我们主要的贡献是：
我们提出了一种新的多曝光融合模块，利用融合块将不同光照条件下生成的图像进行融合，以解决高对比度和颜色偏差的问题。
我们引入了边缘增强模块来增强边缘清晰、结构精细的图像。
实验结果证明我们提出的方法表现SOTA。此外，我们还进行了消融研究，以证明每个模块的有效性。

相关工作

暗光图像增强

直方图方法和基于retinex的方法。
直方图方法是基于整张图像的像素点
对于严重的弱光图像，基于retinex的方法难以使用

最近提出了很多基于深度学习的方法，尽管这些方法有时会产生令人满意的结果，但由于极低亮度图像的高对比度和严重的颜色偏差，它们可能会产生低质量的图像。

多图像方法由于收集的信息更多所以能够解决这个问题，例如，（Godard、Matzen和Uyttendaele2018）引入了一个并行递归网络来组合图像。这些方法的重点是如何将多帧图像中的信息集成起来。本文提出了一种多曝光融合模块，它从一幅图像中产生不同光照条件的图像，并将曝光良好的信息进行充分的融合。多曝光融合网络可以减少颜色偏差，产生高质量的图像。

边缘增强

介绍了一些边缘检测方法，在前人工作的启发下，提出了利用边缘信息重建纹理丰富、局部结构丰富的高质量图像的边缘增强模块。

方法

边缘增强的多曝光融合网络（EEMEFN）旨在恢复曝光良好的图像细节，减少噪声和颜色偏差，并在微光图像增强中保持边缘清晰。如图1所示，我们的EEMEFN方法由两部分组成：多曝光融合和边缘增强。

第一阶段：多曝光融合

多曝光融合（MEF）模块将不同曝光率的图像融合到一幅高质量的初始图像中。如图1（a）所示，MEF 模块包括两个主要步骤：生成和融合。
在生成步骤中，我们通过缩放不同比率的像素值，在不同光照条件下生成一组多曝光图像。在原始图像曝光不足的区域，合成图像可以很好地曝光。
在融合步骤中，我们将合成图像中的部分信息融合到一个初始图像中，该初始图像保存了曝光良好的信息。
特别地，我们提出的融合块共享由不同卷积层获得的图像特征，以充分利用合成图像中的有价值信息。

生成

输入一张raw图片和一系列不同的曝光度比率，我们可以通过公式生成多张不同曝光度的图片。生成的多曝光图像为：，，

clip函数是作用在图像的每个像素点上的（这里做clip操作的意义是什么呢，为什么要和1取最小值），在Learning-to-see-in-the-dark那篇论文里，作者只用了一个特定的曝光率生成了一张图像。另外也需要考虑到多曝光图片中的信息冗余，将多张不同的图像引入网络中不一定会提高性能，反而会增强计算的代价。

融合

在这一步中，MEF模块结合了多曝光图像中良好曝光的区域合成了初始图像。图1（a）说明了我们的MEF模块的体系结构，该模块提供在不同的光照条件下图像。我们的架构可以轻松地扩展到多个图像。我们以两幅图片为例来说明我们的框架。

首先，每个图像由具有相同架构的U-net分支处理。我们在U-net中添加跳过连接，以帮助在不同尺度上构建细节。

其次，我们提出了融合模块，将不同分支获得的图像特征结合起来，以互补的方式充分利用有价值的信息（见图2）。融合模块建立了一种置换不变量技术，特征之间有更多的聚集操作。因此，MEF模块可以从黑暗区域恢复精确的图像细节，并使颜色分布更接近地面真实。每个融合块以N个图像特征为输入，执行max和average 操作来提取有价值的信息。

然后，我们将特征转换为输入特征空间，并将其送回每个分支

最后，将所有分支的最后一个特征串接在一起，输入到1×1卷积层中，通过从所有分支中联合学习产生所需的输出。

MEF模块的输出和实况采用了L1损失函数

第二阶段：边缘增强

边缘增强（EE）模块旨在增强MEF模块生成的初始图像。如图1（b）所示，EE模块包括两个主要步骤：检测和增强。在检测步骤中，我们首先从原始图像而不是输入图像生成一个边缘映射。由于输入图像和多曝光图像都具有很强的噪声，使得边缘提取具有很大的挑战性。MEF模块有效地去除了噪声，生成了边缘清晰的正常光图像。在增强步骤中，EE模块通过利用边缘信息来增强初始图像。利用预测出的边缘图，EE模块可以生成颜色一致的光滑物体表面，恢复丰富的纹理和锐利的边缘

检测

在这一步中，我们使用边缘检测网络（Liu等人。2017）预测边缘。然后利用边缘信息指导高质量图像的重建。边缘检测网络由五个阶段组成，每个阶段利用卷积层的所有激活来执行逐像素预测（E1、E2、E3、E4、E5）。最后，利用融合层对各个阶段的CNN特征进行了仔细的融合。边缘检测网络可以得到准确的边缘映射。

考虑到边缘/非边缘像素的分布严重不平衡，采用二类别平衡权重α和β来抵消这种不平衡。预测边缘图和地面实况的边缘损失定义为基于像素的加权交叉熵损失
损失函数是通过将不同阶段的损失函数和融合层相加来计算的

为了训练边缘检测网络，我们生成一组输入输出对。输入是我们的MEF模块生成的初始图像。我们使用Canny边缘检测器（Canny 1986）计算输出作为地面真实图像的相应边缘图。与Canny相比，我们的EE模块能够从模糊的初始图像中提取有用的边缘，取得了更好的性能。（这个操作很迷啊，用一种方法生成训练集标签，然后你训练完以后的结果还比原来的方法厉害？）

增强

增强步骤采用U-net，输入为多曝光图像、初始图像和边缘图，把这些整合到一起产生最后的增强图。
增强器利用图像的全局像素信息和边缘图的局部边缘信息，增强步骤的损失函数定义为：

我们还评估了其他辅助损失，如边缘保存损失和知觉损失。然而，边缘保持损失显著降低了性能，而感知损失不能提高性能。

实验

在本节中，为了证明我们提出的方法的能力，我们在SID数据集上对EEMEFN模型进行了定量和定性评估，以实现极低光图像增强。我们在tensorflow框架和Paddlepaddle框架的基础上实现了我们的方法。

数据集

SID数据集由两个图像集组成：索尼集和富士集。索尼α7S II拍摄的索尼集包括2697张raw短曝光图像和231张长曝光图像。富士胶片X-T2拍摄的富士集包含2397张raw短曝光图像和193张长曝光图像。索尼的分辨率是4240×2832，富士的分辨率是6000×4000。原始图像的曝光时间设置为1/30到1/10秒。相应的长曝光图像（groundtruth）的拍摄时间延长了100到300倍。

实现细节

我们使用adam优化器对EEMEFN进行5000个epoch的训练，初始学习率为10-4，2500个epoch后降至5*10-5，3500个epoch后降至10-5。我们通过减去黑色级别对所raw图像进行预处理。MEF模块生成两个曝光率为{1，k*/2}的图像（这里的k*应该是对应的上一段的100和300）。模型将两幅图像及其对应的长曝光图像作为输入输出对来训练模型。在实验中，我们使用长曝光图像作为输入对边缘检测网络进行预训练，并使用MEF模块生成的图像对网络进行微调。通过这种训练策略，我们的模型比直接用初始图像来训练的模型收敛得快得多，并获得更好的性能。

定量评估

我们将我们的方法与最先进的方法进行比较，包括CAN（Chen，Xu，and Koltun 2017）和Chen等人使用的U-net。（2018年，SID）。我们还介绍了一个baseline，它具有相同的U-net，并且送入串联的多曝光图像。本文报告的结果基于Tensorflow，因为大多数比较模型（Chen、Xu和Koltun 2017；Chen等人。2018年）使用了这个框架。

表1报告了微光增强的定量结果。可见，baseline模型的性能优于CAN和Chen等人，证明了融合多曝光低光图像的有效性，并且由于采用了融合块，MEF方法与基线模型相比可以获得更好的性能。此外，我们的EEMEFN方法在PSNR方面比Sony和fuji的baseline分别高出0.54dB和0.43db。这说明通过交换部分信息和结合边缘信息，使我们的EEMEFN模型能够充分利用原始图像的全局特征和边缘信息的局部特征，如表所示，我们的方法在Sony和Fuji集上与其他方法相比都达到了SOTA效果。对比（Chen et al. 2018）我们的EEMEFN将索尼的PSNR从28.88分贝提高到29.60分贝，富士的PSNR从26.61分贝提高到27.38分贝。索尼的SSIM从0.787提高到0.795，富士的SSIM从0.680提高到0.723。我们使用LPIPS度量（Zhang等人。2018）来测量感知距离。与（Chen等人。2018年）相比，我们将索尼的LPIPS距离从0.476减少到0.458，富士的LPIPS距离从0.586减少到0.547。总的来说，实验结果表明我们提出的EEMEFN在低光图像增强方面取得了PSNR和SSIM方面的最佳性能。

定性评估

图3显示了一些具有代表性的可视化比较结果。我们展示了经过处理的输入图像、地面实况、Chen等人的结果。（2018）和EEMEFN，以及增强图像和地面真实性之间的误差图。请注意，输入图像由传统管道处理并线性缩放以匹配参考图像以获得更好的视觉表现。在RGB空间中，我们使用像素级L1距离来可视化误差图。

如我们所见，在极低光照条件下拍摄的输入图像存在信息丢失、高对比度和颜色偏差。尽管由陈等人提出的模型是有效处理了噪声，但输出图像仍然模糊。这些严重失真的内容，如颜色和边缘，不能很好地恢复。例如，生成的列车边缘不够清晰，图3（c）中缺少绿色。当不同物体的边缘不清晰时，减少这种失真是一个挑战。与此相反，本文提出的EEMEFN方法利用边缘信息重建高质量图像并保留局部结构。图3（f）显示了我们的方法生成的误差图的有较小的误差值。误差图表明我们的EEMEFN模型产生的图像质量更高，颜色失真更小。通过检查图3（d）和（f）中绿色矩形的细节，我们的方法显然可以恢复更正确的颜色，并使颜色分布更接近地面真实。

总之，我们提出的模型可以通过充分利用多曝光图像中的有价值信息来恢复颜色，并保留更清晰的边缘，如对象的结构和对象之间的边界。

消融实验

为了更好的理解我们的模型，我们提供了一个消融实验来证明每个模块的提升效果

曝光率

曝光率的选择对我们的MEF模块至关重要。首先，我们评估曝光率的影响。如表2所示，当生成更多的多曝光图像时，我们可以获得更高的性能。尽管由曝光率=1生成的图像的性能最差，但该图像可以提供更多的曝光不足信息。包含1的曝光集合可以获得更好的结果。我们发现曝光率为{1，k∗/2}或{1，k∗/2，k∗}的MEF和EEMEFN模型都能达到最佳性能。然而，将三幅图像进行综合考虑是对计算资源的浪费，不能显著提高性能。因此，在剩下的实验中，我们选择曝光比值为{1，k∗/2}

融合模块

其次，我们研究了融合模块及其变体的有效性。为此，我们进行了以下实验：（1）baseline，采用U-net架构。在将多个曝光图像送入网络之前，我们将其串联起来。（2）基本MEF，它表示没有融合块的基本多曝光模块，在最后一层融合两个U-net分支的信息。（3）MEF（max），它使用带有maxoperation的融合块。（4）MEF（avg），其中融合块采用平均运算。（5）MEF（max avg），融合块采用最大和平均运算。

表3显示了融合块及其变体的评估结果。请注意，所有模型都以曝光率为{1，k∗/2}的两个多曝光图像作为输入。我们可以看到基础的MEF比baseline有略微的优势，因为基础MEF分别处理每个图像，这可以增加图像特征的宽度（通道数）。此外，MEF（max）和MEF（avg）在充分利用局部信息的前提下，在两个分支之间进行信息传递，表现出比基础MEF更好的性能。通过结合两种聚合操作，MEF（max-avg）可以进一步提高性能。

边缘增强

第三，我们研究了边缘增强模块的网络设计，如边缘图和初始图像的重要性。我们进行了以下实验：
1.MEF，EEMEFN的第一阶段
2.MEF+边缘损失
3.EEMEFN(E+Inormal)，只输入边界信息和初始图像
4.EEMEFN(E+I)，只输入边界信息和多曝光图像
4.EEMEFN(E+I+Inormal)，输入边界信息，多曝光图像和初始图像

表4显示了实验结果

可视化比较

最后，我们在图4中演示了baseline、MEF、EEMEFN和地面实况之间的视觉比较。我们可以看到，baseline方法受到颜色偏差的影响，例如书籍的颜色。此外，书名和大体的边缘不够清晰（图4（a））。MEF利用融合块通过融合多曝光图像中的高质量图像特征来减少颜色偏差（图4（b））。然而，MEF算法的结果存在视觉模糊的问题，因为MEF算法在目标边缘未知的情况下，可能会对不同目标的像素进行平均。EEMEFN模型可以在边缘图的指导下重建具有锐利边缘和光滑表面的高质量图像（图4（c））。总之，实验结果证明了MEF和EE的有效性，这导致了在恢复细节、减少颜色偏差和增强边缘方面的一致性改进。

 结论

本文提出了一种新的边缘增强多曝光图像增强融合网络，通过对不同光照条件下的多曝光图像进行生成和融合，使多曝光融合模块恢复良好的曝光图像细节，降低噪声方差和颜色偏差。此外，我们还介绍了一个边缘增强模块，它通过合并低光图像和边缘信息来产生高质量的图像。我们的实验结果表明，我们的模型在峰值信噪比（PSNR）和结构相似性（SSIM）方面优于最新的方法。该方法生成纹理丰富、边缘锐利的高质量图像。在未来，我们计划开发一个更强大的实时处理架构，并将该模型应用于其他增强任务（例如，微光视频增强）。