水下图像质量评价与画质增强研究

编者按

海洋面积占据地球总面积的大部分，而且海洋世界蕴藏着丰富的资源，围绕水下成像的相关研究和应用越来越重要。但是，收到水下光照散射、吸收以及噪声等影响，获取的水下图像普遍存在颜色偏差、清晰度差等问题。LiveVideoStackCon 2023 深圳站邀请到福州大学赵铁松老师讲解水下图像质量评价与画质增强研究案例。

文/赵铁松

整理/LiveVideoStack

大家好，我是赵铁松，今天向大家分享水下图像质量评价与画质增强研究案例。

首先介绍一下水下成像面临的问题。

现在我国国力提升要关注海洋技术，对海洋探测需要大量投入，其中需要大量的水下图像研究，特别是引进人工智能的水下图像研究。

海洋面积占据地球总面积的大部分。海洋信息获取通过声纳、换能器、水听器等设备获取，包括海洋资源、地貌、海洋搜救等关键信息。海洋信息传输通过水下无线电磁波通信、水下光纤通信以及水声通信等。

针对水下成像来说，她存在由水带来的前向散射和后向散射的问题，加上水中杂质会产生颜色奇怪的图片，如上图显示。这些问题在陆地成像并不明显，在水下特别显著，而深海光学成像更涉及低光照等问题。

作为替代，深海成像偏向于声纳技术，按技术特点可分为合成孔径声纳、多波束声纳、声透镜声纳等。按照工作方式可分为主动声纳和被动声纳。按装备对象可分为水面舰艇声纳、潜艇声纳、航空声纳等。

针对采集到的水下图像，进行传输则遇到更多的通信问题。水下无线电磁波传输问题是传输距离有限，成本高，信道不稳定；水下光通信同样遇到散射等问题。目前最优选择是水声通信，它同样面临信道窄、不稳定，随着传播距离衰减等问题。

简单总结。水下光学成像问题是光照不均匀，低对比度，色彩降维、模糊化、海洋雪现象。水下声纳成像问题是整体偏暗、对比度低、细节缺失、随机噪声多、前景不明显等。水下信道传输问题是带宽相对有限、信道不稳定。

在这样情况下，我们考虑这样几个问题：一、如何判断一张图片是否可用？二、如果可用，如何进行目标识别？三、如果不可用，是否可以增强或修复？四、如何进行有效的压缩与传输？本次汇报主要关注第一个和第三个问题。

首先讲水下图像质量评价。

质量是图像的重要要素，针对图像的质量评价方法，可以按照三个维度进行分类。

第一个维度是评价对象，是对保真度评价还是效用评价？水下图像主要是保真度和效用，目前和美学关联较小。

第二个维度是已有信息，是有原参考，无原参考还是半参考的评价？水下图像质量不好，没有完美图像作为参考，参考有限。

第三个维度是评价策略，是自上而下还是自下而上的模型？自下而上用感知理论对眼睛进行建模，用模型衡量评价。自上而下通过数据提取特征完成拟合，由于大模型出现，未来可能向自下而上方法倾斜。

大家通常用的水下图像质量评价指标是UCIQE和UNQM，但是这两个指标提出较早。其设计并没有考虑到深度学习算法带来的异常失真。如何选择更好的指标？

我们考虑三个元素。如果一张图像呈现给人，我们需要考虑图像自然性，如图右边展示的MSCN的系数曲线，越对称越接近自然观感，越不对称越偏离自然观感。

如果是面向机器则要考虑其特征显著性。对图像计算梯度，如果梯度足够明显表明显著性满足机器学习的需求。

最后一个要素是结构一致性，也就是水下增强后的图片与之前的图片要在结构上保持一致。我们上面三个要素都是在CIELab空间计算得出。

通过以上三者融合，可以得到更好的质量评价指标。如图所示，我们的算法性能更加鲁棒。我们除了公开算法外，同时还公开了数据集。

第二个图像质量评价工作是针对声呐图像。它具有不同的视觉效果，其应用场景也有不同。水下光学图像可能用于娱乐或目标识别，但水下声呐图像一定用于目标识别。

在这个任务中，Contourlet变换可有助于提取目标识别的特征。我们做了两个实验，验证表明，Contourlet变换提取的声呐图像特征同样有助于识别，且维度越高边缘信息越强。

基于这个想法，我们实现了一个两步算法。第一步，将图像进行Contourlet变换，提取若干子带形成特征，最后汇总成幅度、能量、信息三个特征；第二步，采用集成学习方法来筛选有用特征，且提升算法的泛化性能。 

结果显示如图左边呈现，六张图像显示所有打分基本和用户评测分一致，显示出强相关。同时此方法在存在误码情况下，也能很快识别出来，具有高鲁棒性。

 接下来讲述水下图像画质增强。

首先水下成像噪声体现为混合噪声，包括色彩降维、非均匀光照、细节丢失和低对比度。混合噪声不是加性噪声，噪声直接叠加画面中，例如雨雾噪声图像，直接去除处理。水下图像的混合噪声模型，较复杂，处理时需要综合考虑多个因素，如光照强度、对比度、颜色等不同尺度的信息。

我们的第一个工作是LCNet。将图像采用拉普拉斯金字塔划分为多个尺度，通过级联子网络能够学习不同尺度的特征，提高整体模型泛化能力，同时通过参数复用降低参数量及GPU加速拉普拉斯分解，提升处理速度。

结果显示，与对比算法相比，结果是最好的，和真实世界图像以及真实世界图像中有挑战的数据集相比较，都具有较好结果。

从计算时间来看，我们的处理速度是最快的，参数量也较少。上面一行图片是处理前图片，下面一行图片是处理后图片，处理后图片目标置信度提升，尤其是可以识别处理前识别不到的目标。

我们提出的第二个算法是CURE-Net，目标是进一步提升画质。网络分3层输入，第一层切为4片，第二层切为2片，第三层不切片，通过不同级别的特征加注意力机制提取信息，逐渐向上层传播，同时增加细节增强模块重建图像细节，监督复原模块用下面所有注意力特征指导整体图像的监督复原。

在上面架构之后，可以看出CURE-Net的结果是更好的，图片更加清晰，颜色更加鲜艳。

我们增强后的算法，更加有助于目标识别。对比实验可以看出，通过多层级联，识别目标越来越多，同时在跨库的验证中有好的性能。

我们提出的第三个算法DGUIR，用于接收端的图像修复。对于多变窄带水声信道导致传输失真问题，修复方法分两步进行，第一步运用失真定位，第二步失真修复。

整个模块分成三个步骤，首先输入生成修复图像的低分辨率先验图像，其次输入对失真图像进行初步修复，最后完成精准修复。

结果明显，相比对比算法，对失真进行较好修复，优于现有水下图像恢复算法，理论上也可以用于视频修复。

最后，跟大家汇报下我们将上述算法形成从算法集成框架，包括水下图像的质量评价、编码、传输、修复和识别。

获取图像之后，通过图像压缩、数据分包，在信道进行编码，进行传输以及图像解调，解码之后会有质量评测，即评价图像是否可用，结果是图像有可能直接用或者进行修复，最终对图像进行显示和分析。

我们在Jetson盒子上集成实现了算法并测试，每秒能处理5-10张水下图像。

采集端给出效用方法，评价图像效用，评价目标是否清晰以及目标是否存在，效用较低的图像直接舍弃。

拿到图像之后对图像进行压缩和重建。

压缩比选择调节QP，以27为初始，步长为8，设置效用阈值为40，如果低于40则丢弃；否则进行压缩传输。

信道传输通过水声信道进行模拟。

在接收端评估信道条件，确认接受图像质量评价方法。如果信道误码率小于阈值，作部分参考质量评价，如果信道误码率大于阈值，作无参考质量评价。

在不同信道上，画面丢失情况是不一样的，SNR为20时，虽然有些丢失，仍然可做目标识别，SNR越低，画面丢失越来越严重。

接收端基于效用评价结果对图像分别处理。

评价采用三个阈值。如果低于阈值2，会重传；如果在阈值在2-3之间，做图像修复；如果阈值在3-4之间，做增强；如果阈值大于4，直接用于下游目标检测。

接下来讲述应用于下游任务的目标检测等。

构建鱼群识别网络和算法，根据鱼群识别网络得出识别目标，例如上图所示，图像4直接做识别，图像3做增强，图像2做修复，都可以检测出目标，检测网络的时间大概每秒不到十帧。

今天分享到此结束，谢谢大家！