图像质量评价

图像质量评价iqa（Image Quality Assessment）通常视为一个回归或分类问题。

图像质量评价有多种细分方式

参考链接：https://zhuanlan.zhihu.com/p/32553977

1）客观质量评价&主观美学评估 （Image Quality Assessment & Image AestheticQuality Assessment）

客观质量评价：评价图像的曝光、清晰度、有无噪声等

主观美学评估：评价图像的构图、颜色、内容主体等

2)全参考、半参考、无参考

全参考（Full-Reference，FR）：同时有原始(无失真、参考)图像和失真图像，核心是对比两幅图像的信息量或特征相似度，可用于视频图像压缩技术的评估。如：峰值信噪比（Peak Signal to Noise Ratio, PSNR）

半参考（Reduced-Reference，RR）：只有原始图像的部分信息或从参考图像中提取的部分特征。这种类型的方法通常先从参考图像提取最小参数集，如基于数字水印的iqa，按照一定的策略向原始图像中添加信息，根据失真图像的水印复原率进行iqa。

无参考（No-Reference，NR ，Blind ）：又称盲图像质量评价BIQA，只有失真图像。有基于边缘分析的方法，如使用Sobel、Canny提取图像边缘。有基于变换域的方法，如使用DCT、DWT进行模糊评价。有基于像素统计信息的方法，如统计图像协方差矩阵的最大的前几个特征值的迹作为图像锐度的估计。或基于滤波的方法、基于小波变换等。 NR-IQA方法可以评估块效应，有基于块边界和变换域的方法。

3）研究特定类型、非特定类型的图像质量

数据集

链接：https://developer.aliyun.com/article/717322

客观质量评价数据集的建立方式有：不同的噪声、压缩方式、扭曲、对比度变化等

CNN评价图像质量

RankIQA：Learning from Rankings for No-reference Image Quality Assessment

      将质量评价视为一个相对问题，可对小数据集训练一个大网络。

经典的方法直接利用gt图像训练一个回归器，如图下半部分。RankIQA通过图像处理变换生成不同强度不同类型的排序的失真图像。基于这个更大的已排序的数据集训练一个孪生网络，孪生网络可学习排序关系的表示特征，这个特征可以认为是一个score，比较2者的大小关系，从而计算loss。通过数据增强可训练一个更大的网络，最后将孪生网络参数迁移到回归网络微调。

NIMA：Neural Image Assessment

将质量评价视为一个概率问题。

       图片的综合评价是由分数概率分布的均值与标准差来决定，均值代表了这张图片的质量分数，标准差代表了非常规程度。最后一层 FC 层的10个 unit 分别输出该图片获得 1 ~ 10 分的概率。计算平均值和标准差。输入图像缩放为256*256，再随机裁减224*224。

https://blog.csdn.net/weixin_45250844/article/details/102878435

Transformer评价图像质量

Transformer是首先在机器翻译领域被提出来的一种结构，可以认为是attention的进阶，包含自注意力和编解码注意力。

Transformer天然有关注部分区域的特点，非常符合iqa问题需要‘ Considering that image quality can be affected by spatial saliency distribution’的特性。

TRANSFORMER FOR IMAGE QUALITY ASSESSMENT

属于无参质量评价

Code: (https://github.com/junyongyou/triq).

        Resnet50作为基网络提取特征，获得（H/32）*(W/32)*2048的特征图。然后用一个2d卷积层做特征过程，再经历池化和展平后，基于Transformer Encoder做iqa，注意这个方法只用到了编码器，无需解码器。multi-layer perceptron (MLP) head接在编码器后做image recognition（这个作者把iqa问题视为识别问题 Image quality assessment (IQA) can be considered essentially as a recognition task,）最后预测的是一个分布而不是一个单一的得分。5个全连接层带softmax预测1-5分的得分分布。

Perceptual Image Quality Assessment with Transformers

属于全参质量评价

        这个基于transformer的方法在cvpr的比赛中获得了第一，‘The proposed model was ranked in the first place among 13 participants in the NTIRE 2021 challenge on perceptual image quality assessment [23] at the CVPR 2021. The rest of this article is organized as follows.’

        用孪生网络（Inception-Resnet-V2）取出清晰和模糊图像的特征图，计算差异性fdiff = fref -fdist，然后经历特征工程送到transformer编解码网络。Mlp为2层fc，获得质量得分。

The MLP head consists of two fully connected (FC) layers, and the first FC layer is used followed by the ReLU activation. The second FC layer has one channel to predict a single score.

 

有参图像质量评价挑战赛

https://data.vision.ee.ethz.ch/cvl/ntire21/