通用型无参图像质量评价综述

本文主要翻译自综述论文[1]，并添加了一些自己阅读的较新的文献。研究领域是通用型无参考图像质量评价。

基于自然场景统计特征（NSS）的方法

NSS是一个强大的通用NR-IQA工具。其动机是高质量的自然场景图像服从某种统计特性，而质量下降可能会偏离这些统计特性。

一个典型的基于NSS的NR-IQA测量包括3个关键步骤：特征提取、NSS建模和特征回归。特征可以从空间域或变换域中提取。参数化模型如GGD、多元GGD和非对称GGD（AGGD）被用于NSS建模步骤。最后利用支持向量机（SVM）和支持向量回归（SVR）对NSS模型的参数进行回归得到最终的质量。

• Moorthy和Bovik[2]提出了盲图像质量指数（BIQI），该指数是通过一个包含失真识别和失真特定质量评估的两阶段框架来实现的。在三个尺度和三个方向上进行小波变换，并使用给定的GGD对子带系数进行参数化。通过拟合参数来描述场景的统计信息，拟合参数作为质量特征。利用支持向量机和支持向量回归进行失真识别和质量回归。
• BIQI进一步改进为基于失真识别的图像真实性和完整性评价（DIIVINE）指标 [3]。使用相同的两阶段框架，但通过考虑子带、尺度和方向之间的相关性，丰富了质量特征集，以更全面地描述场景统计信息。
• 文献[4]提出了一种基于学习的盲图像质量测量方法（LBIQ）。LBIQ从复金字塔小波系数的统计信息、系数相位的交叉尺度分布所描述的纹理特征以及模糊/噪声估计中提取特征。采用主成分分析（PCA）方法降低特征维数，采用支持向量机对特征进行组合。

在DCT域对NSS进行建模具有计算量小的优点。

• Saad等人。[8]利用局部离散余弦变换系数的统计特性，提出了blinds索引（使用DCT统计量的盲图像完整性表示器）。提取基于DCT的对比度和结构特征作为质量特征。最后通过概率预测模型学习质量特征到质量分数的映射。
• Saad等人。[9]后来引入了Blinds-II索引，blinds-II应用GGD对DCT系数的统计进行建模。然后利用拟合的广义高斯模型参数计算质量相关特征。最后，用多元GGD描述的概率预测模型。
• 米塔尔等人。[176]提出了一种基于空间域NSS的盲/无参考图像空间质量评价器（BRISQUE）。BRISQUE对MSCN(Mean subtracted contrast normalized)系数的统计进行了建模。使用[2]中所述的相同GGD对MSCN系数的统计进行建模。此外，相邻MSCN系数的乘积通过AGGD建模。提取GGD和AGGD的拟合参数作为质量特征，通过SVR进行回归。
• 基于brisqe，Mittal等人。[177]提出了一种“完全盲”的自然图像质量评价方法（NIQE），它不使用人的意见分数进行训练。NSS的质量特征与BRISQUE相同，但仅使用具有高图像对比度的图像补丁。此外，还使用了一个多元高斯模型（MVG），该模型可以用[9]中的多元GGD来描述所有NSS特征。最后，以高质量图像的MVGs与目标畸变图像之间的距离作为质量。

基于学习的方法

随着机器学习研究的兴起，近年来提出了许多基于学习的NR-IQA方法。

基于codebook的传统机器学习方法以后再补充。

基于CNN的方法：

• Kang等人。[223]将特征学习和回归集成到一个通用CNN框架中，该框架由一个最大和最小池卷积层、两个完全连接层和一个输出节点组成。CNN以标准化的图像块作为输入，直接输出质量分数。
• 在[93，224]中使用了更深入的CNN。提出了一种加权平均的斑块聚集方法，其损失为斑块损失和加权图像损失之和。
• 文献[225]利用一个紧凑的多任务CNN，在无参考的情况下同时估计图像质量和识别失真类型。
• Kim和Lee[226]提出了一种基于卷积神经网络（BIECON）的盲图像评价方法。对于标准化的图像块，使用由FR-IQA测度计算的局部块质量训练CNN模型。然后加入池层对CNN提取的特征进行回归，并对整个网络进行端到端的优化。
• Gu等人。[227]结合信度估计和面向对象池，提出了NR-IQA的向量回归框架。首先通过CNN估计信任度向量，然后利用面向对象的池来提高性能。
• Kim等人。[228]使用CNN预测客观误差图，然后预测主观得分。利用目标误差图作为中间目标可以避免过拟合问题。
• 潘等人。[229]设计了一个基于全CNN和汇聚网络框架的深度NR-IQA模型。利用FR-IQA测量得到的质量图对网络进行训练。Ma等人。
• [230]提出了一种用于NR-IQA的多任务端到端优化深度神经网络（MEON）。该方法由两个子网络组成：畸变识别网络和质量预测网络共享早期层。
• Lin等人。[231]将对抗性学习引入NR-IQA。
• Liu等人。[232]训练暹罗网络对图像进行排序，然后对网络进行微调以进行质量预测。
• Talebi等人。[233]对CNN进行美学和像素级质量数据集的培训，并预测平均质量分数和标准偏差。
• Guan等人。[234]通过深度神经网络将失真信息、视觉重要性和质量感知结合起来。
• Kim等人。[92]全面介绍了基于CNN的IQA。

Reference:
[1] Guangtao ZHAI,Xiongkuo MIN.Perceptual image quality assessment: a survey[J/OL].Science China(Information Sciences):1-52[2020-05-12].
[2] Moorthy A K, Bovik A C. A two-step framework for constructing blind image quality indices. IEEE Signal Process Lett, 2010, 17: 513–516
[3] Moorthy A K, Bovik A C. Blind image quality assessment: from natural scene statistics to perceptual quality. IEEE Trans Image Process, 2011, 20: 3350–3364
[4] Tang H, Joshi N, Kapoor A. Learning a blind measure of perceptual image quality. In: Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, 2011. 305–312
[8] Saad M A, Bovik A C, Charrier C. A DCT statistics-based blind image quality index. IEEE Signal Process Lett, 2010, 17: 583–586
[9] Saad M A, Bovik A C, Charrier C. Blind image quality assessment: a natural scene statistics approach in the DCT domain. IEEE Trans Image Process, 2012, 21: 3339–3352
[177] Mittal A, Soundararajan R, Bovik A C. Making a “completely blind” image quality analyzer. IEEE Signal Process Lett, 2013, 20: 209–212
[223] Kang L, Ye P, Li Y, et al. Convolutional neural networks for no-reference image quality assessment. In: Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, 2014. 1733–1740
[224] Bosse S, Maniry D, Wiegand T, et al. A deep neural network for image quality assessment. In: Proceedings of IEEE International Conference on Image Processing, 2016. 3773–3777
[225] Kang L, Ye P, Li Y, et al. Simultaneous estimation of image quality and distortion via multi-task convolutional neural networks. In: Proceedings of IEEE International Conference on Image Processing, 2015. 2791–2795
[226] Kim J, Lee S. Fully deep blind image quality predictor. IEEE J Sel Top Signal Process, 2017, 11: 206–220
[227] Gu J, Meng G, Redi J A, et al. Blind image quality assessment via vector regression and object oriented pooling. IEEE Trans Mult, 2018, 20: 1140–1153
[228] Kim J, Nguyen A D, Lee S. Deep CNN-based blind image quality predictor. IEEE Trans Neural Netw Learn Syst, 2019, 30: 11–24
[229] Pan D, Shi P, Hou M, et al. Blind predicting similar quality map for image quality assessment. In: Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, 2018. 6373–6382
[230] Ma K, Liu W, Zhang K, et al. End-to-end blind image quality assessment using deep neural networks. IEEE Trans Image Process, 2018, 27: 1202–1213
[231] Lin K Y, Wang G. Hallucinated-iqa: no-reference image quality assessment via adversarial learning. In: Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, 2018. 732–741
[232] Liu X, van de Weijer J, Bagdanov A D. Rankiqa: learning from rankings for no-reference image quality assessment. In: Proceedings of IEEE International Conference on Computer Vision, 2017. 1040–1049
[233] Talebi H, Milanfar P. NIMA: neural image assessment. IEEE Trans Image Process, 2018, 27: 3998–4011
[234] Guan J, Yi S, Zeng X, et al. Visual importance and distortion guided deep image quality assessment framework. IEEE Trans Mult, 2017, 19: 2505–2520