ADNet: Attention-guided Deformable Convolutional Network for High DynamicRange Imaging

Abstract

在本文中，我们提出了一种用于手持多帧高动态范围（HDR）成像的注意力引导可变形卷积网络，即 ADNet。这个问题包括两个棘手的挑战，即如何正确处理饱和度和噪声以及如何解决由物体运动或相机抖动引起的错位。为了解决前者，我们采用空间注意模块来自适应地选择各种曝光低动态范围（LDR）图像的最合适区域进行融合。对于后一种，我们建议使用金字塔、级联和可变形 (PCD) 对齐模块对齐特征级别的伽马校正图像。与以前的方法相比，所提出的 ADNet 显示出最先进的性能，在 NTIRE 2021 多帧 HDR 挑战赛中实现了 39.4471 的 PSNR-l 和 37.6359 的 PSNRµ。

Introduction

在本文中，我们提出了一种注意力引导的可变形卷积网络（ADNet），这是一种解决此类问题的新管道。我们建议使用双分支处理它们，而不是直接连接 LDR 图像和它们的伽马校正图像。具体来说，空间注意模块用于提取 LDR 图像的注意特征以更好地融合，并采用金字塔、级联和可变形 (PCD) 对齐模块 [31] 来对齐特征级别的伽马校正图像。这种设计是由直觉驱动的，即 LDR 域中的图像有助于检测噪声或饱和区域，而 HDR 对应物有助于检测错位 [14]。

图 1 说明了我们的方法和最先进的方法 AHDRNet [33] 的结果。可以看出，AHDRNet 的结果无法恢复饱和区域的细节。相比之下，我们的方法产生无噪声和无鬼影的结果，同时在过饱和区域产生更准确的内容。我们的主要贡献可以总结如下：

我们提出了一种新颖的双分支管道，用于动态场景的多帧 HDR 成像。与以前统一处理 LDR 和伽马校正图像的方法不同，我们使用空间注意模块处理 LDR 图像，并使用 PCD 对齐模块处理相应的伽马校正图像。

现有的基于学习的方法使用基于光流的对齐或不使用显式对齐。在本文中，我们建议使用可变形对齐模块来对齐动态帧，与以前的对手相比有显着改进。据我们所知，这是可变形卷积在多帧 HDR 成像中的首次应用。
实验结果表明，所提出的方法在定量和定性上都比最先进的方法取得了更好的结果。我们的方法还在 NITRE 2021 多帧 HDR 挑战赛中取得了最佳成绩。

Method

空间注意力模块A：提取注意力特征图

PCD对齐模块P：处理动态对象或相机运动

Network Structure

我们在图 2 中展示了所提出的 ADNet 的网络结构。ADNet 的整体结构主要由三个组件组成：LDR 图像的空间注意模块（图 2（a）），伽马校正图像的 PCD 对齐模块（图. 2 (b)) 和用于 HDR 重建的融合子网 (图 2 (c))。我们首先利用空间注意模块来提取三个 LDR 图像的注意特征图。同时，我们使用 PCD 对齐模块来对齐特征级别的伽马校正图像。最后，我们按照曝光时间的顺序连接注意力特征和对齐的伽马校正特征，并将它们馈送到融合子网，生成估计的 HDR 图像。

Spatial Attention Module for LDR Images

 

 PCD Align Module for Gamma-corrected Images

 在特征级别执行对齐优于在图像级别执行对齐

Fusion Subnet for HDR Reconstruction

空洞卷积[36]的使用增加了感受野。我们还使用本地跳过连接和全局跳过连接来更好地训练我们的模型。

 Training Strategy

Gamma Disturbance

现有方法通常首先使用相机响应函数 (CRF) [5] 对非线性 LDR 图像进行线性化，然后对这些线性化图像应用伽马校正（例如，γ = 2.2）以生成输入图像 [14, 29]。然而，由于每台相机的 CRF 并不完全相同，固定的 gamma 值可能并不总是最合适的。在本文中，我们提出了一种伽马扰动策略。具体来说，我们不是一直保持固定的 gamma 值，而是随机应用 2.24 ± 0.1 的 gamma 值，概率为 30%。通过采用这种策略，所提出的方法在 PSNR 方面获得了大约 0.1dB 的增益。

Loss Function

由于HDR图像通常要经过tonemapping后观察，所以loss需要在tonemapping结果上计算。

Results and Analysis

 

 我们将我们方法的去重影和 HDR 重建能力归功于新的网络设计。一方面，对 LDR 图像执行的空间注意力模块可以自适应地选择合适的图像区域进行融合，即短时曝光帧中的亮区和长时间曝光帧中的暗区。为了进一步验证这一点，我们通过沿通道维度对注意力图进行平均来可视化它们。如图 4 所示，注意力图抑制了曝光过度/曝光不足的区域，并专注于曝光良好的区域。另一方面，PCD 对齐模块处理包含相机运动或动态对象的伽马校正图像，并更准确地对齐它们。我们还通过消融研究验证了有效的网络设计。

Conclusion

我们提出了 ADNet，一种注意力引导的可变形卷积网络，用于多帧 HDR 成像。提出了一种双分支管道，我们使用空间注意模块处理 LDR 图像，并使用 PCD 对齐模块解决未对齐问题。实验结果表明，所提出的方法可以实现最先进的性能并重建无噪声和无鬼影的 HDR 图像。