9、论文阅读：无监督的感知驱动深水下图像增强

Enhancement Without Paired Supervision)

前言

当前的 UIE 算法主要通过最小化增强图像和地面真实图像之间的重建损失，在合成数据集或具有伪标签的数据集上训练深度神经网络（DNN）。但是，合成和真实的水下图像有差距，在合成图像上训练的网络在真实环境下不一定有好的表现。并且使用L1和L2损失函数，往往忽视人类感知的重要性，（L1和L2损失只关注像素级别的差异，没有考虑人类视觉系统的感知特性。人类的眼睛对边缘和纹理的变化敏感，但是对颜色变化相对不敏感。为此，可以使用感知损失或者风格迁移损失 ​），导致增强的图片不尽人意。

因此，本论文提出了一个无监督感知驱动的 DNN，称为 PDD-Net，用于泛化 UIE。我们不依赖配对图像进行训练，而是采用无监督生成对抗网络（GAN），以大量易于获得的自然图像作为目标域，这使得模型可以使用从各个领域收集的图像进行训练，避免过度拟合任何特定的数据生成领域。

此外，为了让增强的图片更加符合人类感知（纹理、边缘、颜色等），我们预训练了一个基于DNN的PQR(成对质量排序)模型，在其上制定PQR损失以逐步引导提高原始水下图像的质量方向。

此外，我们引入了全局注意力模块（GAM），它集成了调制和注意力机制，能够捕获丰富的全局和局部信息，从而提高亮度和对比度。

引言

水下成像对于与海洋相关的应用至关重要，然而，由于特殊的成像环境，水下图像的质量往往会因能见度差、对比度低、色偏等问题而受到影响，从而影响了水下研究和探索的进展。造成这种质量差的主要原因在于光波长的吸收（红光最先消失）和光的散射。水中的悬浮物也会会导致光多次散射和反射，导致水下图像的低对比度、细节模糊。

UIE 的早期尝试通常应用简单的图像处理技术来操纵原始水下图像的图像像素，包括灰度世界白平衡、伽马校正、直方图均衡和直方图拉伸。 此类方法基于自然图像处理的先验知识直接改变水下图像的像素强度，无法适应水下图像的复杂变形。

• 灰度世界白平衡：调整每个像素的像素值R,G,B，但是当图像场景颜色并不丰富时（尤其是水下环境常常呈现蓝/绿色），尤其出现大块单色物体时，该算法常会失效。 自动白平衡–灰度世界算法(Gray World Algorithm)
• 伽马校正：用于调整图像亮度和对比度的技术。人眼对亮度的感知是非线性的，即对亮度的变化不敏感于线性的亮度变化，而更敏感于暗部区域的变化。为了更好地匹配人眼的这种非线性感知，图像处理中的伽马校正会引入一个幂函数来调整亮度值。但是可能引起一些细节损失，计算量有时也比较大。
• 直方图均衡
• 直方图拉伸

为了解决这个问题，又演化出了基于图像融合的UIE算法。但是这种方法存在计算复杂度高（需要通过he、gc等算法获取图片）、参数调节复杂（多个算法）的问题，同时并不能完全解决水下图像失真的问题。

考虑到水下图像退化主要是由于波的吸收和散射引起的，因此开发了各种物理水下成像模型。

• 《Transmission estimation in underwater single images》 UDCP
• 《“GUDCP: Generalization of underwater dark channel prior for underwater image restoration》 GUDCP
• 《Underwater image enhancement by dehazing with minimum information loss and histogram distribution prior》
• 《Underwater image enhancement with hyper-Laplacian reflectance priors》
• 《FW-GAN: Underwater image enhancement using generative adversarial network with multi-scale fusion》

使用这些模型开发了UIE方法，可以有效地恢复退化的水下图像。但是这些方法也存在一些问题。过后补充

为了获得准确的结果，提出了额外的先验作为约束。然而，该模型并不总是适用于水下图像，因为复杂的水下环境会干扰光传输衰减，导致最终结果中出现不必要的伪影。

近年来，由于DNN模型的非线性建模能力，使得DNN在UIE领域获得广泛应用。例如：

• 《Underwater image enhancement with global–local networks and compressed-histogram equalization》
• 《Anovel underwater image enhancement algorithm and an improved underwater biological detection pipeline》
• 《Two-branch deep neural network for underwater image enhancement in HSV color space》
• 《CURE-Net: A cascaded deep network for underwater image enhancement》

然而，由于缺乏真实的高质量水下图像给在UIE中直接应用DNN带来了巨大的挑战。

• 一种解决办法就是合成训练数据，但是真实数据和合成数据之间的差距限制了这些方法的应用和性能
• 另一种办法是使用伪标签进行训练，其中监督数据是通过现有UIE算法从不同的增强结果中手动选择的，但是这种方法可能会在不同数据集上产生异构性能，并且性能可能会受到现有 UIE 方法的极大限制。

现有的基于DNN的UIE算法通常使用MSE损失，这常常忽略了人类感知的重要性。即虽然客观数据好看，但是不符合人类对视觉质量的感知。

为了解决上述问题，提出了无监督感知驱动的DNN，PDD-Net。

• 使用无监督生成对抗网络（GAN），以一组易于获得的大规模自然图像作为目标域
• 使用对抗性损失来最小化训练增强的水下图像和容易获得的自然图像之间的分布距离。
• 为了使增强图像更加符合人类感知，预训练了一个基于深度神经网络（DNN）的成对质量排名（PQR）模型，作为质量损失项，指导原始水下图像向更高质量的方向优化
• PQR 模型可以在人类评分的水下图像质量数据集上进行训练，使我们增强的图像能够满足人类感知

本论文的贡献：

• 我们提出了一种新颖的质量感知驱动的无监督 GAN，称为 PDD-Net，以实现可泛化的 UIE。首先在 UIE 领域考虑人类质量感知来指导网络训练，而无需配对监督。
• 我们基于预训练的 PQR 模型制定了新的 PQR 损失，以鼓励增强后的图像逐步满足人类感知的期望
• 提出了一个全局注意力模块，该模块同时关注每个特征通道的均值和标准差，分别表征整体亮度和局部对比度，这很好地符合UIE的独特要求。

相关工作

UIE模型

最先进的UIE模型大致分为两类：传统方法和基于深度学习的方法。
在传统方法类别中，还有两个进一步的分类：基于非物理模型的方法和基于物理模型的方法。

基于非物理模型

最初，直方图调整方法被用来通过拉伸像素强度分布来增强水下图像。 然而，这些方法往往无法有效纠正色偏。
为了解决这一限制，研究人员已经转向应用颜色自然图像处理技术的发展的场景。

值得注意的是，颜色恒常性理论已成为一种重要的方法，这表明尽管入射光发生变化，人类对表面颜色的感知仍然保持一致。换句话说，无论环境光照条件如何变化，人眼能够相对稳定地感知物体的颜色，使得不同光照条件下的物体看起来仍然保持相同的颜色特征。
然而，由于水下图像中红色通道的平均值较小（光在水中的传播过程中，不同波长的光被水吸收的程度不同，波长较长的红光首先被吸收），灰度世界白平衡算法（gray world algorithm）在用于消除蓝绿色偏差时往往会引入明显的红色伪影

另一种理论称为 Max-RGB（用于图像白平衡和颜色校正的方法，它基于颜色恒常性理论），它近似于每种颜色的最大亮度颜色通道作为照明源，并导出正常照明强度。然而，这种方法不能有效消除像素间照明不均匀导致的颜色偏差。

虽然这些理论都在进行图像增强时考虑了人类感知，但是他们都没有完全解决水下图像中复杂的失真问题

因此，涉及将多个互补预处理结果融合到单个增强图像中的融合框架在 UIE 中获得了重视。

基于物理模型

基于物理模型的水下图像增强算法假设每个水下图像都有对应的清晰图像（有监督），他们的目标是通过使用水下成像模型 推断退化参数来恢复高质量图像。（这类算法基于水下成像模型工作，该模型描述了光在水下传播时的衰减和散射等物理现象。通过估计这些导致图像模糊、颜色偏差和对比度下降的退化参数（如光的衰减系数和散射效果），算法可以对水下图像进行修正，恢复其原始的清晰度和色彩，从而生成更接近自然场景的高质量图像。）