阅读笔记之No-Reference Image Quality Assessment in the Spatial Domain

摘要：

本文提出了一种基于自然场景统计的通用性图像失真的无参考(NR)图像质量评估(IQA)模型（BRISQUE）。它是利用局部归一化亮度系数的场景统计模型来量化图像“自然度”损失，为了定量描述自然场景统计系数与失真程度的映射关系，引入非对称广义高斯分布 (AGGD)来拟合系数与失真的对应关系得到参数特征向量，最后使用支持向量模型将参数特征向量映射到质量得分。

算法思想：

本文提出的基于空间域的变换，使用局部归一化亮度系数（MSCN）的NSS模型来量化图像的自然损失度。

                               

假设MSCN系数随着图像的失真变化而变化，由于高斯模型能够近似表示图像的任意失真，因此，构造广义的高斯分布来拟合MSCN系数对应的失真关系。如上图所示，不同失真类型对应的MSCN满足广义的高斯分布，其中org表示原图，jp2k表示JPEG2000压缩方式，wn表示白噪声，blur表示模糊失真，ff表示信道比特位错位率。

具体步骤：

1、首先通过减均值除以方差计算局部归一化亮度图像矩阵，公式如下：

                             

• 利用特定的高斯窗口计算图像的局部均值和局部方差：根据局部均值和局部方差，计算MSCN系数矩阵。示意图如下：  

                                       

2、其次图像的MSCN构造不同方向的相邻系数内积

•              MSCN为像素强度提供了一个很好的归一化方法。然而，自然图像与失真图像的区别并不局限于像素的强度分布，还包括像素与其相邻像素之间的关系。因此，为了获取邻域关系，作者采用MSCN矩阵在不同方向的相邻系数值的乘积。Horizontal (H), Vertical (V), Left-Diagonal (D1), Right-Diagonal (D2).

                            

3、求MSCN系数对应的参数特征向量：

• 采用广义高斯模型（GGD）拟合失真图像与原始图像的MSCN经验分布。主要是估计GGD模型中的两个参数（ , ）。

                                 

• 采用非对称的GGD拟合MSCN相邻系数内积。在每个方向分别估计四个参数（ ,, ,），共16个参数。

                             

                         

• 因此，拟合MSCN和MSCN的相邻内积的参数总共有18个，形成18维特征。采用原始尺寸和1/2倍的尺寸计算对应的MSCN和相邻内积，则最终的参数维度为18x2=36。

4、预测图像质量得分

• 主要分为两个阶段：
• 计算得到的36维特征向量去训练每一种失真类型支持向量概率分类器，输出图像在该失真类型的概率值；随后分别连接一个已训练好的支持向量回归器，输出该失真类型得分。
• 计算失真概率向量和失真质量向量的点积，作为最终的得分。

实验结果：

•         We used the LIVE IQA database to test the performance of BRISQUE, which consists of 29 reference images with 779 distorted images spanning five different distortion categories – JPEG2000 (JP2K) and JPEG compression, additive white Gaussian noise (WN), Gaussian blur (Blur), and a Rayleigh fast-fading channel simulation (FF). we divide the LIVE database into two randomly chosen subsets – 80% training and 20% testing.   

                            

                              

结论：

本文提出了一种基于自然场景统计模型的通用性图像质量评价算法，采用多种失真类型的样本对SVM模型参数进行训练，从而训练出多个失真类型对应的超平面，综合不同失真类型对应的概率以及质量得分获得最终质量评分。

参考文献：

[1]. No Reference Image Quality Assessment in Spatial Domain.

[2]. Blind/referenceless image spatial quality evaluator.

[3]. https://www.learnopencv.com/image-quality-assessment-brisque/

• 代码开源地址：Matlab_Brique，密码：z91u