Naturalness-Aware Deep No-Reference Image Quality Assessment

自然感知深度无参考图像质量评估

Abstract

在本文中，我们提出了一种新的基于深度神经网络的NR-IQA多任务学习方法。我们提出的网络是通过多任务学习方式设计的，包括两个任务，即自然场景统计（NSS）特征预测任务和质量分数预测任务。NSS特征预测是一项辅助任务，它有助于质量得分预测任务学习输入图像与其质量得分之间更好的映射。这项工作的主要贡献是将NSS特征预测任务集成到基于深度学习的图像质量预测任务中，以提高表示能力和泛化能力。据我们所知，这是第一次尝试。实验结果证实了我们的方法在相同的数据库验证方面的优越性能，特别是我们的方法分别在Pearson线性相关系数（PLCC）和Spearman等级相关系数（SROCC）方面在LIVE图像质量评估数据库上达到0.984和0.986。此外，跨数据库验证的实验结果验证了我们方法的强泛化能力。具体来说，我们的方法在看不见的失真类型上获得了显着的提高，达到21.8％

Method

在本节中，我们介绍了我们提出的自然性深度无参考图像质量评估方法。
首先，我们介绍我们方法的框架。然后，我们分别详细说明NSS特征预测任务和质量分数预测任务。此外，我们介绍了我们提出的CNN模型的每一层。最后，我们描述了我们提出的模型的训练细节。

Overview

我们提出的方法的框架如图1所示。我们在表1中展示了每一层的详细参数。如图1和表I所示，我们提出的方法有两个任务。质量预测任务（task2）是我们提出的方法的主要任务。 NSS预测任务（task1）是帮助质量预测任务具有更好性能的辅助任务。这种特定的拓扑结构受到早期成功的基于机器学习的方法的启发[18] [17]，它首先提取许多手工制作的特征以形成特征向量，然后利用回归方法（例如SVR）来学习特征之间的映射。矢量和相应的质量得分。

因此，在我们的方法中，我们利用几个卷积层来提取特征，然后使用这些特征从task1和task2的完全连接的layer1（FC1）形成特征向量。由于任务1的FC1进一步成为FC2，由真实NSS特征监督，两个任务的FC1完全不同。因此，我们连接两个任务的FC1以获得task2的新特征向量FC2。 task2的FC3是最终质量得分，它是一维完全连接的层。任务2的FC2类似于早期基于机器学习的方法的特征向量，任务2的FC3是预测的质量分数。

NSS特征可以测量图像的自然程度。这些特征是失真通用的，并且在以前的工作中表现出对跨数据库验证的强大性能。
对于基于深度学习的特性，它们在相同的数据库验证方面比基于NSS的方法具有更好的性能，但在看不见的失真类型方面表现不佳。这是因为基于深度学习的功能是数据驱动的。 NSS功能和深度学习功能各有优缺点。我们添加NSS特征学习以帮助基于深度学习的方法的原因是弥补基于深度学习的方法的弱点。借助NSS特征预测任务，我们提出的方法可以在相同的数据库验证实验中获得更好的性能，并在跨数据库验证测试中表现出强大的性能。这将在第IV节中详述

预处理后，我们的方法提取32*32来自归一化图像的32个补丁并分别将它们发送到深度神经网络。对于输入补丁，我们提出的模型首先提取CNN的特征。对于CNNs特征提取器，我们开发了具有六个卷积层的深CNN模型。该模型基于深度残差网络[50]设计。我们提出的模型的架构在第III-D节中详述。在使用CNN提取特征之后，我们的模型生成两个不同任务的特征向量。然后，将NSS特征预测任务的特征向量与质量预测任务的特征向量连接，生成质量预测任务的新特征向量。最后，通过学习的新特征向量预测质量分数。最后，我们对小补丁的得分进行平均，以获得输入图像的质量得分。我们在下一小节中详细介绍了方法的每个部分。

Natural Scene Statistics Features Prediction

为了实现通用的NR-IQA模型，提取的特征必须对任何类型的失真都是鲁棒的。为了实现这一目标，我们将NSS特征学习作为我们多任务学习模型的辅助任务。 NSS特征是基于图像在预处理后遵循一些规则的事实来提取的，并且当遇到不同的失真时这些规则被不同程度地破坏。因此，基于NSS的回归模型是经典方法中的最佳解决方案。受基于NSS的方法的启发，我们从训练集中提取小补丁的N​​SS特征。

由于BRISQUE [18]可以从空间域中提取NSS特征，因此我们从该方法中选择NSS特征作为训练补丁的标签。 BRISQUE [18]的作者用广义高斯分布模拟了这一点，并将均值和方差作为特征。此外，他们模拟了具有非对称广义高斯分布的四个邻居的中心像素的联合分布，并为每个邻居采用了该分布的四个参数。在[18]之后，我们提取了两个等级训练样本的特征：1/2和1.因此，我们可以预测输入补丁的36个NSS特征。
在训练过程中，我们为每个训练补丁计算36个NSS特征。在完成计算过程后，我们将训练集的NSS特征向量标准化为[0,1]。

Quality Score Prediction

质量得分预测是我们多任务学习模型的主要任务。它与NSS特征预测任务共享CNN特征提取器，并组合两个任务的特征向量以获得用于质量分数预测的新特征向量。
然后通过这个新的特征向量获得补丁的质量得分。由于我们对输入图像进行预处理，因此我们无法使用FR-IQA方法生成小块的标签。因此，按照以前的工作[20]，[14]，[15]，我们将整个图像的主观评分作为该图像中每个图片的标签。如Bosse等人的实验所示：[15]，从图像中平均每个补丁的得分并将每个补丁的得分与各个权重相加都有优点和缺点。由于每个补丁的得分平均值比两个基准数据库中的另一个得分更好，我们将每个补丁的得分平均作为输入图像的最终质量得分。尽管文献中出现了许多基于CNN的IQA方法，但我们的方法与它们有三个主要区别：

• 首先，我们设计了一个多任务学习网络来解决NR-IQA问题，这与大多数方法有很大不同
• 其次，与现有的多任务学习方法相比，我们的方法有一个主要任务和一个辅助任务
• 第三，我们的方法可以感知失真图像的自然性，并让这些信息帮助质量预测任务获得更好的性能。

Layers

表1中列出了我们提出的模型的网络配置。该表中列出的层对应于图1中我们提出的神经网络模型的层。从该表中，我们可以观察到我们提出的方法有六个卷积层，一个最大池化层，两个求和层，一个连接层和五个完全连接（FC）层。对于CNNs特征提取器，我们设计了一个精确有效的深度CNNs模型，它包含六个卷积层，采用整流线性单元（ReLU）[51]作为激活函数，两个求和层和一个最大池层。第一个和层添加第二个和第三个卷积层的输出。类似地，第二和层添加第5和第6卷积层的输出。最大池化层用于降低计算成本。此CNN功能提取器由两个任务共享。

两个任务的各个部分是特征向量部分。对于NSS特征预测任务，在用CNN提取特征之后，它生成1024维向量。然后，它发送特征向量以帮助质量预测任务并同时生成36维NSS特征。对于质量预测任务，它还在特征提取后生成1024维向量。然后将其特征向量与NSS特征预测任务的特征向量组合以生成更具辨别力的特征向量。最后，这个新的特征向量用于预测最终的质量得分。通过最小化以下欧几里德损失来优化所提出的模型，

我们进行消融研究以检查所提出的模型的性能是否最佳。基线模型是没有concat层的质量预测任务。然后我们分别添加NSS预测任务和concat层。该研究在LIVE数据库和TID2013数据库上进行。
为了更具体地显示每个模型之间的差异，我们还计算了Kendal等级系数（KROCC），均方根误差（RMSE）以及地面实况NSS特征与预测的NSS特征之间的MSE值。实验结果列于表II中。

在本文中，我们提出了一种自然场景统计辅助深度神经网络模型的无参考图像质量评估。我们的模型是基于多任务学习而设计的。
我们将自然场景统计特征预测作为一项任务引入到我们的多任务学习模型中，并让这项任务来辅助质量预测任务。在LIVE数据库上进行的消融研究结果证实了辅助自然场景统计特征预测任务的优越性。为了评估我们模型的性能，我们在六个基准数据库上进行了相同的数据库和交叉数据库验证。相同数据库验证的实验结果验证了所提模型的优越性，特别是我们的方法分别在PLCC和SROCC值方面可以达到0.984和0.986。值得注意的是，交叉数据库验证的实验结果证实了相对于theart-theart方法的性能飞跃。具体而言，相对于跨数据库验证中的第二个最佳方法，我们的方法可以实现高达21.8％的性能提升。

虽然我们的方法取得了很好的性能，但真实世界图像的性能还有较大的提升空间。例如，LIVEC数据库和CID2013数据库的SROCC值分别为0.745和0.748。这些值表明我们的方法与真实世界图像上的HVS没有高度相关性。将来，我们将研究如何使用更好的NSS功能来辅助基于深度学习的方法。这可以进一步提高基于深度学习的方法的质量预测能力和鲁棒性。我们还将研究如何开发一种基于深度学习的方法，仅包括卷积层，它可以以端到端的方式处理任意大小的图像。