【论文review+总结】屏幕内容图像质量评估SC-IQA（Screen Content Image Quality Assessment）

论文review

主要总结近三年（2017-2019年）二区期刊/会议的论文。

2017年论文

1、ESIM: Edge Similarity for Screen Content Image Quality Assessment
期刊：2017 IEEE TRANSACTIONS ON IMAGE PROCESSING

作者：Zhangkai Ni, Lin Ma, Member, IEEE, Huanqiang Zeng, Member, IEEE, Jing Chen, Canhui Cai, Senior Member, IEEE, and Kai-Kuang Ma, Fellow, IEEE

解决问题：
（1）提出的ESIM方法与目前（2017年）所有针对SCI的IQA相比，在提供更精确一致的评价方面具有更好的表现；
（2）建立了一个新的更大的SCI数据库——SCID，能够在评估提出的屏幕内容图像质量评估方法的精确性时作为ground truth。

主要工作：
（1）提出一种全参考屏幕内容图像质量评估方法——ESIM（edge similarity），该方法的核心在于用了三个主要的边缘特征——edge contrast、edge width、edge direction。
（2）算法步骤：分别从参考SCI和失真SCI中单独提取这三个特征，前两者来自于参数化的边缘模型，第三个特征直接来自于SCI；然后分别计算这三个特征的各自的相似度；最后将这三个相似度maps结合起来，并用本文提出的edge-width pooling strategy生成最后的ESIM分数。
流程图如下：

（3）建立了一个新的SCI数据库（SCID）。包含40个参考SCIs以及1800个失真SCIs。比目前（2017年）唯一可用的SCI数据库-SIQAD要大。该数据集可以被用作ground truth。

2、No-Reference Quality Assessment of Screen Content Pictures
期刊：2017 IEEE TRANSACTIONS ON IMAGE PROCESSING

作者：Ke Gu, Jun Zhou, Member, IEEE, Jun-Fei Qiao, Member, IEEE, Guangtao Zhai, Member, IEEE, Weisi Lin, Fellow, IEEE, and Alan Conrad Bovik, Fellow, IEEE

解决问题：
（1）针对无参考IQA提出了一个统一的框架，这个框架不仅可以用于SCIs的IQA，也可用于其他类型的图像和失真的IQA；
（2）基于上述框架，提出了一个针对SCIs的OU（Opinion-unaware）-NR-IQA方法——SIQE。该方法比之前其他方法要更好。
（3）提出了一种SIQE的快速算法——ASIQE，性能与SIQE接近，而速度快了150倍
主要工作：
（1）提出一种创造不需要依赖人为评分的无参考IQA的通用框架（如图），可以将任意一个NR-IQA转换成OU-NR-IQA；

（2）设计并提取了四种特征：
Image complexity（图像复杂度）：对于输入图像利用AR（Autoregressive）模型得到预测输出，然后计算该图像与这个预测输出之间的error map用作图像复杂度；
Screen content statistics（屏幕内容统计）：基于patch的degradation；
Global brightness and surface quality（全局亮度和外观质量）：与contrast adjustment相关；
Detail assessment of sharpness and corners（尖锐、角落部位的细节评估）：sharpness利用log-energy计算，corners利用压缩失真产生的假corners计算。
最终共有15个特征。
经过实验对比，这四种特征的贡献度从高到低是2、4、1、3。
（3）基于上述通用框架，用非常多的训练数据（100000个）去训练SVR（support vector regression）模型。利用SVR将提取的15个特征回归得到最终分数。把该方法命名为SIQE（Screen Image Quality Evaluator）；
（4）然后对SIQE进行改进，分别得到简化版本SSIQE以及加速版本ASIQE。其中，SSIQE是通过简化混合滤波器，即保留BL而移除AR model实现的；ASIQE是在计算image complexity时用compression-backed B_r和B_d代替E_r和E_d。

3、Objective Quality Assessment of Screen Content Images by Uncertainty Weighting
期刊：2017 IEEE TRANSACTIONS ON IMAGE PROCESSING

作者：Yuming Fang, Member, IEEE, Jiebin Yan, Jiaying Liu, Member, IEEE, Shiqi Wang, Qiaohong Li, and Zongming Guo, Member, IEEE

解决问题：
（1）提出一种针对SCIs的全参考IQA——SFUW（structure feature and uncertainty weighting）。该方法与其他方法相比有更好的表现。
（2）相比于2015年H.Yang等人提出的SPQA方法，该方法在文本区域和图像区域的结构特征提取上都做了改进，（在文本区域是通过梯度信息计算结构特征，而在图像区域是通过提取亮度和结构特征来评估质量）；同时还考虑到了不同图像块（patches）的不同影响，在这两个区域结合计算质量分数时对文本像素（或图像像素）采用了不同的权重值（uncertainty weighting）。

主要工作：
（1）依据：人眼对于不同区域的失真敏感情况不同：对于图像区域，人眼对亮度、对比度的变化更加敏感；而对于文本区域，人眼对模糊失真更加敏感；所以要对两个区域设计不同的方法。
（2）结构图如下：

（3）首先，利用Scale and orientation invariant text segmentation for born-digital compound images一文中的方法进行文本分割，将SCI分为文本区域和图像区域；然后利用梯度信息得到文本块的结构特征并得到质量分数，利用intensity和LBP信息计算得到亮度特征和结构特征从而得到图像块的质量分数；然后对不同的块利用梯度信息求熵的方式计算得到边信息的度量，得到不同块的不确定性权重值，以此将两个区域的图像块的质量分数结合起来得到最终的分数。

4、Study of subjective and objective quality assessment for screen content images
会议：ICIP2017
作者：Xu Wang, Lei Cao, Yingying Zhu, Yun Zhang, Jianmin Jiang, Sam Kwong

解决问题：
（1）建立了一个开源的用于SCI-IQA的数据库——IML-SCIQD（Immersive Media Laboratory Screen Content Image Quality Database）。相较于之前SIQAD和SCD，该数据库有多样的场景内容以及更多的失真类型（10个），是对之前数据库的良好补充。
主要工作：
（1）建立了IML-SCIQD数据库，该数据库有25个参考SCIs和1250个失真SCIs，包含10种失真类型，5级失真等级。、
（2）基于建立的数据库，将目前所有质量评估方法进行比较，得出结论：目前的质量评估方法在SCI上都不能得到很好的效果，这个领域仍然有很大的提升空间，尤其是NR-IQA。

5、Unified Blind Quality Assessment of Compressed Natural, Graphic, and Screen Content Images
期刊：2017 IEEE TRANSACTIONS ON IMAGE PROCESSING

作者：Xiongkuo Min, Kede Ma, Student Member, IEEE, Ke Gu, Guangtao Zhai, Member, IEEE, Zhou Wang, Fellow, IEEE, and Weisi Lin, Fellow, IEEE

解决问题：
（1）文章提出，如果只针对SCIs进行设计和测试这些质量评估方法是没有意义的，需要在跨内容类型的环境（cross-content-type environment）下进行设计和测试。于是本文提出了一种能应用于跨内容类型（NSIs、CGIs and SCIs）的NR-IQA方法——UCA（unified content-type adaptive）；

主要工作：
（1）建立了一个新的IQA数据库——CCT（cross-content-type），这个数据库包含了HEVC/HEVC-SCC压缩的NSIs、CGIs以及SCIs；
（2）设计了一个统一的内容类型自适应的无参考IQA方法——UCA（unified content-type adaptive），主要分为两步：多尺度特征提取、自适应多尺度加权。
流程图如下：

（3）多尺度特征提取主要提取corners和edges特征，分4个scales。
（4）在CCT数据集上与其他算法进行性能比较，得出以下结论：1）基于训练的方法要比没有训练的方法表现更好；2）基于块效应（blockiness）和模糊（blur）的评估方法在一个子集中表现较好，但是引申到整个数据集上后会出现很大的性能下降；3）所有方法都从NSIs到CGIs再到SCIs性能逐渐下降。因此得出结论：本文UCA方法（无训练）能在所有情况下实现最好的效果，并且从NSIs子集到SCIs子集的性能下降最小。
（5）然后还在其他基于块的压缩方法和数据库中进行测试比较，包括JPEG、MPEG-2、H.264和HEVC；
（6）不足和未来计划：UCA对于颜色失真（color distortion）表现不好，目前只能局限于基于块的压缩失真。

2018年论文

6、A Gabor Feature-Based Quality Assessment Model for the Screen Content Images
期刊：2018 IEEE TRANSACTIONS ON IMAGE PROCESSING

作者：Zhangkai Ni, Huanqiang Zeng , Senior Member, IEEE, Lin Ma , Member, IEEE, Junhui Hou , Member, IEEE, Jing Chen, Member, IEEE, and Kai-Kuang Ma , Fellow, IEEE

解决问题：
（1）受Gabor滤波器特性与人类视觉系统相近的启发，提出一种基于Gabor特征的SCIs-FR-IQA——GFM（the Gabor feature-based model）。该方法与其他方法相比更接近HVS感知，同时计算复杂度也更低。

主要工作：
（1）提出基于Gabor特征的全参考IQA——GFM，算法流程有四步：
1）将颜色空间从RGB转换到LMN，以方便提取亮度和色度内容；
2）提取亮度的Gabor特征，对参考和失真SCI分别用垂直方向和水平方向的虚部Gabor滤波器与亮度内容进行卷积，得到参考和失真的亮度特征maps；
3）计算相似度，将上一步得到的参考和失真SCI的亮度特征maps进行对比得到亮度Gabor特征相似度maps。同理，对色度也进行同样操作，用两者的色度内容maps进行对比得到色度内容相似度map；
4）Feature Pooling，用提出的Gabor-feature-based pooling strategy将上述得到的亮度、色度相似度maps结合得到最终质量评估分数。
流程图如下：

（2）文末提出了一个建设性的问题：如何对不同的IQA方法在不同IQA数据库上进行评估和比较他们的性能是IQA领域一个很重要的课题。这迫使未来需要研究出新的IQA性能评估方法以及IQA数据库的完整报告（包括MOS/DMOS和SD值）。（This stresses the need of new performance evaluation methods and complete report of IQA databases (e.g., including both MOS/DMOS and SD values) in the future.）

Tips：Gabor特征是一种可以用来描述图像纹理信息的特征，Gabor 滤波器的频率和方向与人类的视觉系统类似，特别适合于纹理表示与判别。Gabor 特征主要依靠 Gabor 核在频率域上对信号进行加窗，从而能描述信号的局部频率信息。

7、No Reference Quality Assessment for Screen Content Images With Both Local and Global Feature Representation

期刊：2018 IEEE TRANSACTIONS ON IMAGE PROCESSING

作者：Yuming Fang , Senior Member, IEEE, Jiebin Yan, Leida Li, Member, IEEE, Jinjian Wu , Member, IEEE, and Weisi Lin, Fellow, IEEE

解决问题：
（1）提出了一个新的SIC-NR-IQA——NRLT（no reference visual quality estimation method for SCIs by statistical luminance features and texture information），比目前其他方法要好，甚至包括一些全参考方法。

主要工作：
（1）依据：HVS对亮度变换和纹理信息更敏感。
（2）NRLT的主要步骤如下：
1）首先，通过局部标准化（local normalization）提取SCIs的亮度map，以用来计算统计亮度特征。
2）然后用四个不同方向的滤波器基于亮度map来计算梯度map，记为一阶导数信息；
3）然后通过梯度map上的LBPs（local binary patterns）计算纹理特征；记为二阶导数信息；
4）然后利用直方图在全局范围内表示统计亮度和纹理特征；
5）最后利用SVR（support vector regression）来训练视觉质量评估模型以从这些特征得到最终的分数。
（3）与其他IQA方法基于三个量进行比对——PLCC（Pearson Linear Correlation Coefficient）：评估预测精度、SRCC（Spearman Rank-order Correlation Coefficient）：评估预测单调性、RMSE（Root Mean Squared Error）：测量主观分数与客观分数直接的偏差。
（4）质疑点：在比较性能时只与一些2016年之前提出的方法进行比较（FR：SPQA、SQI、GSS、EMSQA，NR：BLIQUP-SCI、BQMS），而在2017年提出的一些FR、NR优秀方法都没有进行比较（如ESIM、SIQE等），无法得知该方法与这些方法相比如何。————后续其他文章中对该方法进行了测试，结构表明该方法与SIQE等方法相比确实有着更好的表现。
（5）2019年PQSC文章中表示，NRLT方法通过LBP提取纹理特征，但是LBP由于只编码了相邻像素之间的不同，因此不能获取精确的magnitud信息。

8、Quality Assessment of Screen Content Images via Convolutional-Neural-Network-Based Synthetic/Natural Segmentation
期刊：2018 IEEE TRANSACTIONS ON IMAGE PROCESSING

作者：Yi Zhang , Damon M. Chandler , Senior Member, IEEE, and Xuanqin Mou , Member, IEEE

解决问题：
（1）本文提出了目前SC-IQA的一个问题，即人眼在看SCI时，对于不同的区域的关注点是不同的（详见本文档最开头思路2），因此需要模仿HVS对SCI的不同区域进行分割，分别处理。该思路已有一些论文提出了相应方法，但是，这些方法（如SFUW）尚存在一些问题：1）目前所有文章对于SCI区域的划分只有文本区域和图像区域两类，无一例外。但是，SCI中的区域还有计算机图像（computer graphics）、图表（charts）、地图（maps）和卡通形象（cartoons）等，这些区域其实和文本区域一样，也有sharp edges、thin strokes、颜色少等特点，但都被划到了图像区域；2）目前的分割方法没有滤出flat/solid-color regions，而这个区域其实在对HVS评估SCI质量时也有着重要的作用。
（2）基于以上观点，本文提出了一种基于分割的全参考SC-IQA方法——CNN-SQE。
（3）与目前其他方法进行比较，该方法有以下优点：
1）为避免之前两类分割的限制，本文将SCI分为3类：纯文本（plain text）、计算机图形/卡通（computer graphics/cartoons）和自然图像（natural images）。这个分类是基于两个分割主题：人工（synthetic）和自然（natural）。纯文本和装饰图案一起表示SCI人工区域，自然图像和装饰图案一起表示SCI自然区域。这样，这两个区域就都包含计算机图形/卡通（装饰图形），这样的一个重叠是很有用的，因为有些SCI可能不包含纯文本或自然图像，但在一些计算机图形里会包含文本信息或图像信息，这样在评估文本或自然区域的质量时会出现偏差。同时，这样还有一个好处是有利于训练数据的收集，因为在区分纯文本和卡通文本时是有困难的。同时，本文采用基于CNN的分割方法，比之前的分割方法更精确、更鲁棒。
2）为避免flat/solid-color regions的大量丢失，本文采用一个预处理阶段，以选取CNN分类的候选SCI区域。这个选取是用LSD（local standard deviation）和local entropy feature。
3）本文采取了更有效的质量相关特征和质量结合策略。

主要工作：
（1）本文提出了一个基于CNN的屏幕内容图像质量评估方法CNN-SQE，该方法共三个步骤：
1）图像分割。用一个8层的CNN模型对候选图像块进行软分类，分为三类：纯文本（plain text）、计算机图形/卡通（computer graphics/cartoons）和自然图像（natural images）。并将纯文本和装饰图案一起表示SCI人工区域，自然图像和装饰图案一起表示SCI自然区域。
2）对每一个分割区域利用edge-structure degradation进行质量评估。edge-structure degradation的测量是基于LoG（Laplacian of Gussian）滤波器和对比度maps来进行的。
3）最后，两个区域的质量评估自适应的结合起来，得到最终的SCI质量分数。
流程图如下：

（2）最终与12个FR IQA和2个NR IQA方法在SIQAD、SCD和SCID数据集上进行比较。其中有6个FR SC-IQA方法：SQI、GSS、SIQM、SQMS、SFUW以及ESIM。比较尺度是：SROCC（the Spearman Rank-Order Correlation Coefficient）、PLCC（the Pearson Linear Correlation Coefficient）、KROCC（the Kendall Rank-Order Correlation Coefficient）以及RMSE（the Root Mean Square Error）。经比较，本文方法表现更好。

9、Reduced-Reference Quality Assessment of Screen Content Images
期刊：2018 IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY

作者：Shiqi Wang, Member, IEEE, Ke Gu, Xinfeng Zhang, Weisi Lin, Fellow, IEEE, Siwei Ma, Member, IEEE, and Wen Gao, Fellow, IEEE

解决问题：
（1）本文首先提出以下观点：
1）在实际情况中，在客户端参考图像是很难获得的，因此对不需要或需要少数原始图像信息的IQA方法的研究是很有意义的。而由于NR方法缺失参考图像信息，所有NR方法往往比其他方法效率和精确度要低。因此研究RR方法很有必要。
2）在RR-SCI-IQA研究中，存在以下3个挑战：首先，选取的RR特征需要获得感知特性并与图像失真相关，从而感知质量可以与这些特征的比较直接映射；其次，提取的特征需要尽可能少的占用bit，否则将对SCI的传输造成很大的负担；最后，RR特征计算和比较的计算复杂度应相对要小，从而能够应用于实时屏幕质量监视。
本文研究将解决以上问题。
（2）为解决以上问题，本文提出一种RR-IQA模型。经比较，该方法在所有数据集以及部分失真类型上都优于其他方法，同时传输开支只有48b/pic，计算复杂度也几乎是最低的。

主要工作：
（1）提出了一种用于SCI的RR-IQA方法。该方法是基于IGM-based brain theory，该理论表明图像质量与主要视觉信息（primary visual information）和不确定性的数量（amount of uncertainty）有关。因此本方法是基于这两个内容进行的。而主要视觉信息是用梯度域特征表示，而不确定性由输入和有序信息的相似度来表示，而SCI的有序信息是由高斯模糊（Gaussian blur）和运动模糊（motion blur）提取的。
基本框架如下：

流程图如下：

（2）与RRDNT、VIR-RR、WNISM、FTB以及SDM基于SRCC、PLCC、KRCC、RMSE和MAE进行比较。
（3）最后提出本文的方法仍然有很多限制，需要在未来进行改进：
1）目前这个方法是适用于SCIs的，而在实践中，如何将其扩展到屏幕内容视频需要进一步研究；
2）RR方法的设计没有做任何图像失真类型的假设（如NR方法那样），使得其有潜力用作多功能/多用途的应用。然而目前该方法的测试只基于8种失真类型，在未来，更多的失真类型需要包括进去。
3）基于HVS的模型参数的选择仍然值得探索。因为目前对于特殊的屏幕内容的人眼视觉行为的研究仍在起步阶段，心理学上对于SCIs与自然图像的不同将会影响模型参数的选择。随着HVS研究的发展，将会有更好的模型参数选择方式。
4）如何利用本文提到的RR-IQA算法的统计特征去设计屏幕内容增强算法也是未来一个值得研究的内容。

10、Screen Content Image Quality Assessment Using Multi-Scale Difference of Gaussian
期刊：2018 IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY

作者：Ying Fu, Huanqiang Zeng , Senior Member, IEEE, Lin Ma , Zhangkai Ni , Jianqing Zhu, Member, IEEE, and Kai-Kuang Ma , Fellow, IEEE

解决问题：
（1）依据：HVS对丰富的边缘信息高度敏感，而图像细节可以通过不同尺度更好的获得。
（2）基于以上两点，本文提出了一种FR-IQA方法——MDOG（multi-scale difference of Gaussian）。该方法的关键创新点在于运用MDOG在不同的尺度下高效的获取边缘信息。
（3）经比较，该方法与HVS感知有更高（？）的相关性。

主要工作：
（1）本文提出一种新的FR-IQA方法——MDOG（multi-scale difference of Gaussian）。该方法关键步骤如下：
1）对于参考SCI和失真SCI，利用MDOG在两个不同的尺度下提取边缘maps。两个尺度分别记为SEM（smaller-scale edge map）和LEM（larger-scale edge map）。
2）通过测量两个SEMs的相似度得到ESM（edge similarity map）；
3）通过两个LEMs计算边缘强度（edge strength），并用此作为权重值，以得到最终的质量分数。
流程图如下：

（2）基于PLCC、SROCC和RMSE与其他一些方法进行比较，其中针对SCI的FR-IQA方法有SPQA、GSS、EMSQA、SIQM和SQI。经比较，该方法表现更好。
（3）质疑：最终的性能比较只是与2016年之前的一些方法进行了比较，而2017、2018年的一些优秀方法并没有进行对比，因此说服力不足。

2019年论文

11、Screen Content Image Quality Assessment With Edge Features in Gradient Domain
期刊：2019 IEEE Access

作者：RUIFENG WANG, HUAN YANG , (Member, IEEE), ZHENKUAN PAN, BAOXIANG HUANG, AND GUOJIA HOU

解决问题：
（1）对于一般的方法，边缘特征都是直接从图像像素域提取的，而本文首次提出从梯度域提取边缘特征。依据是梯度域可以更好的反映失真SCIs的主要视觉变化。
（2）本文所采用的边缘特征提取方法也能够更好的表现边缘的细节，能进一步提升模型的表现。
（3）本文所提出的方法在SIQAD和SCID数据集上有着最好的表现。

主要工作：
（1）本文提出了一种在梯度域提取边缘特征的SI-IQA方法——EFGD（edge features in gradient domain）。该方法主要步骤如下：
1）颜色空间转换。对参考SCI和失真SCI都从RGB颜色空间转换到TCbCr颜色空间，从而能够将亮度通道和色度通道分开。
2）在梯度域提取边缘特征。在梯度map上提取三种边缘特征：edge sharpness、edge brightness/contrast和edge chrominance。得到ESM、EBCM和ECM其中，edge sharpness由GPS（Gradient profile sharpness model）测量；edge brightness/contrast由一种全新的方法测量；而edge chrominance由color moments测量。
3）利用自适应权重算法将ESM、EBCM和ECM结合得到最终的相似度map。
4）利用pooling map从最终的相似度map得到最终的分数，其中用edge sharpness特征作为pooling map。
流程图如下：

（2）基于PLCC、SROCC、RMSE，在SIQAD和SCID数据集上与其他针对FR-IQA进行比较，其中针对SCI的有：SIQM、SPQA、SQI、SQMS、ESIM、SVQI和GFM。该方法有最好的表现。

12、A Log-Gabor Feature-Based Quality Assessment Model for Screen Content Images
会议：ICIP 2019

作者：Heng Guo, Kai-Kuang Ma, and Huanqiang Zeng

解决问题：
（1）论文6提出了利用Gabor滤波器的方法，因为Gabor滤波器与HVS相似；而在1987年Field提出了一种新的Gabor滤波器——log-Gabor，这个滤波器与一般的Gabor滤波器相比能够更好的反映HVS。因此本文提出了基于log-Gabor滤波器的方法——LGFM（log-Gabor feature-based model），该方法利用了两个log-Gabor滤波器的特性：1）不含直流（DC）分量。DC主要获取的是全局信息，而不是图像内容的细节，而感知相关的工作应该去掉DC响应。2）log-Gabor滤波器的带宽可变。不同于一般的Gabor滤波器的带宽受限，可变带宽的log-Gabor滤波器可以将其带宽扩展到更高的频率范围。而当失真SCI和参考SCI比较相似时，这些细微的不同只能在更高频率范围内被映射到。
（2）该方法比其他方法效果更好。

主要工作：
（1）本文提出了一种用于SCI的FR-IQA方法——LGFM（log-Gabor feature-based model）。该方法的步骤如下：
1）颜色空间转换。对参考SCI和失真SCI从RGB颜色空间转换到LMN颜色空间；
2）对参考SCI和失真SCI，用log-Gabor滤波器与亮度内容卷积得到它们的log-Gabor特征maps；
3）计算两者的log-Gabor特征maps的相似度（亮度），同时再单独用相同的计算方法计算色度内容的相似度；
4）最后将这些测量值结合起来得到最终的IQA分数。
流程图如下：

（2）基于PLCC、SROCC和RMSE，在SCID数据集上与其他方法比较，其中SCI-FR-IQA方法有：SIQM、SVQI、ESIM和GFM。经比较，该方法有最好的表现。

13、No-Reference Quality Assessment for Screen Content Images Based on Hybrid Region Features Fusion
期刊：IEEE TRANSACTIONS ON MULTIMEDIA

作者：Linru Zheng , Liquan Shen , Jianan Chen, Ping An , and Jun Luo

解决问题：
（1）本文提出，目前的SCI-NR-IQA方法都是从整个SCIs上提取特征，但是SCIs的不同类的块在SCIs失真时有着不一样的变化趋势。所有本文提出了一个改进方法：将SCI中的文本、计算机图形和图像区域中的高频部分划分为SEPes（sharp edge patches），其余部分为non-SEPes，并基于此提出一种基于混合区域的特征表示法，能够将SCIs的局部和全局特性结合起来。
（2）与其他方法相比该方法表现更好。

主要工作：
（1）本文提出了一种针对SCI的NR-IQA方法，该方法步骤如下：
1）利用VOLSD（the noise robust index variance of local standard deviation）将SCIs划分为SEPes和non-SEPes区域
2）从SEPes和整个SCIs中提取局部和全局特征以量化失真对SCI的影响。其中，局部特征如下：①用SEPes的GLCM（the gray level co-occurrence matrix）来获取微结构（microstructure）信息，并从GLCM中计算熵和对比度特征用来测量输入SCI的视觉质量；②从SEPes中提取LPC（local phase coherence）特征以度量SCI的sharpness loss。
3）采用平均池化（pooling）将上一步得到的特征进行结合从而得到更有效的局部特征；
4）最后利用SVR（support vector regression）从局部特征和全局特征得到最终的质量分数。
流程图如下：

（2）基于PLCC、SRCC和RMSE，在SIQAD上与其他方法进行比较，其中针对SCI的FR-IQA有：SPQA、SQI、ESIM、SFUW和SQMS，针对SCI的NR-IQA有：BLIQUP-SCI、BQMS和NRLT。经比较，该方法有更好的表现。
（3）在文末提出了一些未来的改进计划：1）对失真SCIs在像素层面设计更精确更鲁棒的分割方法；2）利用深度学习来更好的提取特征。

14、Perceptual Quality Assessment for Screen Content Images by Spatial Continuity
期刊：IEEE Transactions on Circuits and Systems for Video Technology

作者：Yuming Fang, Senior Member, IEEE, Rengang Du, Yifan Zuo, Wenying Wen, and Leida Li

解决问题：
（1）本文提出，目前的SCI-NR-IQA方法（BQMS、SIQE、BLIQUP-SCI）主要是用参数化模型来提取NSS（nature scene statistics）特征，这些方法为了设计质量评估模型都需要假设他们使用的特征遵循确定的分布，然而这种假设不总是正确的。
（2）依据：认知神经学的研究表示相邻像素的空间相关性在理解HVS的特性时提供了很重要的信息。
（3）为解决上述问题，本文利用空间连续性以直方图的形式描绘统计特征。与传统的参数化方法相比，本文这种用非参数化直方图提取质量特征在预测视觉质量时是更好的。该方法不需要对特征的分布做任何假设，因此避免了fitting 过程的误差，因此利用直方图来表示的特征比用参数化模型表示的特征更加精确。
（4）空间连续性具体是通过定义了相邻像素的色度连续性和纹理连续性来实现的。而在此前的SCI IQA方法的研究中还没有用到过色度连续性。
（5）与NRLT相比，NRLT在提取纹理特征时利用LBP，而LBP由于只编码相邻像素之间的不同，因此不能获取精确的magnitude信息。而本文在提取纹理特征时采用的是LTP，该方法可以获取精确的magnitude信息作为失真SCI的对比度变化。

主要工作：
（1）本文提出一种针对SCI的NR-IQA方法——PQSC（perceptual quality measure by spatial continuity）。该方法步骤如下：
1）利用零阶和一阶不变量提取色度描述符（chromatic descriptors）——photo-metric invariant chromatic descriptors，并用色度描述符计算统计色度特征（statistical chromatic features）以表示SCI的色度连续性；
2）利用LTP（local ternary pattern operator）提取纹理特征，然后用直方图计算统计纹理特征以测量纹理变化的程度。LTP将图像分为了两个LBP通道——upper pattern和lower pattern
3）用SVR（support vector regression）从特征得到最终的质量分数。
流程图如下：

（2）基于PLCC、SRCC和RMSE，在SIQAD、SCID和QACS数据集上与其他SCI-IQA比较。其中，FR-IQA有：SPQA、SIQM、ESIM、GFM、SQMS、SFUW、CNN-SQE以及EMQSA，RR-IQA有RWQMS，NR-IQA有：BQMS、SIQE、NRLT、Yue的方法和Zheng的方法。经比较，本方法比其他NR-IQA方法都要好，甚至比一些FR-IQA的方法还好。

总结

主要思路

对SCI进行IQA的基本思路：
第一种思路：
1）在参考和失真SCIs之间通过一些与质量相关的特征计算特征相似性（SSIM），这些特征主要有：亮度（luminance）、色度（chrominance）、对比度（contrast）、梯度（gradient）以及一些边缘（edge）特征（如edge contrast、edge width、edge direction等）；
2）然后对得到的相似度特征map进行加权求和或回归运算等操作，得到最终的一个分数。

第二种思路：
因为人眼在看屏幕内容图像时，对于不同区域的关注和敏感情况是不一样的，比如对于文字区域，人眼更关注的是可读性而不是颜色、饱和度的变化，但后者对于图像区域更重要。所以应该仿照HVS对SCI进行分割，分出不同的区域（如文字区域、图像区域等），对不同区域分别进行分析然后最终整合到一起形成一个分数。（SFUW（论文3）、CNN-SQE（论文8））

主要方法总结

全参考FR-IQA

1、SPQA——Screen content Perceptual Quality Assessment：
（which finds perceptual differences of pictorial and textual areas between distorted and undistorted images.）
来源：H. Yang, Y. Fang, and W. Lin, “Perceptual quality assessment of screen content images,” IEEE Trans. Image Process., vol. 24, no. 11, pp. 4408–4421, Nov. 2015
细节：textual区域质量分数由亮度和sharpness信息计算得到，而pictorial区域只由sharpness信息得到。两者线性结合。

2、SIQM——Structure Induced Quality Metric：
（Measures structural degradation predicted by SSIM）
来源：K. Gu, S. Wang, G. Zhai, S. Ma, and W. Lin, “Screen image quality assessment incorporating structural degradation measurement,” in Proc. IEEE Int. Symp. Circuits Syst., May 2015, pp. 125–128.

3、SQMS——Saliency-guided Quality Measure of Screen content：
（incorporates gradient magnitude structural information and a model of visual saliency）
来源：K. Gu et al., “Saliency-guided quality assessment of screen content images,” IEEE Trans. Multimedia, vol. 18, no. 6, pp. 1098–1110, Jun. 2016

4、GSS
来源：Z. Ni, L. Ma, H. Zeng, C. Cai, and K.-K. Ma, “Gradient direction for screen content image quality assessment,” IEEE Signal Process. Lett., vol. 23, no. 10, pp. 1394–1398, Oct. 2016

5、EMSQA
来源：Z. Ni, L. Ma, H. Zeng, C. Cai, and K.-K. Ma, “Screen content image quality assessment using edge model,” in Proc. IEEE Int. Conf. Image Process., Sep. 2016, pp. 81–85

6、ESIM——edge similarity：
来源：Z. Ni, L. Ma, H. Zeng, J. Chen, C. Cai, and K.-K. Ma, “ESIM: Edge similarity for screen content image quality assessment,” IEEE Trans. Image Process., vol. 26, no. 10, pp. 4818–4831, Oct. 2017.（论文1）

7、SFUW——structure feature and uncertainty weighting：
来源：Y. Fang, J. Yan, J. Liu, S. Wang, Q. Li, and Z. Guo, “Objective quality assessment of screen content images by uncertainty weighting,” IEEE Trans. Image Process., vol. 26, no. 4, pp. 2016–2027, Apr. 2017.（论文3）

8、SQI
来源：S. Wang, K. Gu, K. Zeng, Z. Wang, and W. Lin, “Objective quality assessment and perceptual compression of screen content images,” IEEE Comput. Graph. Appl., vol. 38, no. 1, pp. 47–58, Jan.–Feb. 2018.

9、GFM——the Gabor feature-based model
来源：Z. Ni, H. Zeng, L. Ma, J. Chen, C. Cai, and K.-K. Ma, ‘‘A Gabor feature-based quality assessment model for the screen content images,’’ IEEE Trans. Image Process., vol. 27, no. 9, pp. 4516–4528, Sep. 2018, doi: 10.1109/TIP.2018.2839890.（论文6）

10、CNN-SQE——CNN-based screen content image quality estimator
来源：Y. Zhang, D. M. Chandler, and X. Mou, “Quality assessment of screen content images via convolutional-neural-network-based synthetic/natural segmentation,” IEEE Transactions on Image Processing, vol. 27, no. 10, pp. 5113 – 5128, Jun. 2018.（论文8）

11、MDOG——multi-scale difference of Gaussian
来源：Screen Content Image Quality Assessment Using Multi-Scale Difference of Gaussian 期刊：2018 IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY 作者：Ying Fu, Huanqiang Zeng , Senior Member, IEEE, Lin Ma , Zhangkai Ni , Jianqing Zhu, Member, IEEE, and Kai-Kuang Ma , Fellow, IEEE（论文10）

12、SVQI
来源：K. Gu, J. Qiao, X. Min, G. Yue, W. Lin, and D. Thalmann, ‘‘Evaluating quality of screen content images via structural variation analysis,’’ IEEE Trans. Vis. Comput. Graphics, vol. 24, no. 10, pp. 2689–2701, Oct. 2018, doi: 10.1109/TVCG.2017.2771284.

13、EFGD——edge features in gradient domain
来源：Screen Content Image Quality Assessment With Edge Features in Gradient Domain 期刊：2019 IEEE Access 作者：RUIFENG WANG, HUAN YANG , (Member, IEEE), ZHENKUAN PAN, BAOXIANG HUANG, AND GUOJIA HOU（论文11）

14、LGFM——log-Gabor feature-based model
来源：A Log-Gabor Feature-Based Quality Assessment Model for Screen Content Images 会议：ICIP 2019 作者：Heng Guo, Kai-Kuang Ma, and Huanqiang Zeng（论文12）

弱参考RR-IQA

1、RR-IQA
来源：Reduced-Reference Quality Assessment of Screen Content Images 期刊：2018 IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY 作者：Shiqi Wang, Member, IEEE, Ke Gu, Xinfeng Zhang, Weisi Lin, Fellow, IEEE, Siwei Ma, Member, IEEE, and Wen Gao, Fellow, IEEE（论文9）

无参考NR-IQA

1、BQMS——Blind Quality Measure for Screen content images：
来源：K. Gu, G. Zhai, W. Lin, X. Yang, and W. Zhang, “Learning a blind quality evaluation engine of screen content images,” Neurocomputing, vol. 196, pp. 140–149, Jul. 2016

2、SIQE/ASIQE——Screen Image Quality Evaluator
来源：K. Gu, J. Zhou, J.-F. Qiao, G. Zhai, W. Lin, and A. C. Bovik, “No reference quality assessment of screen content pictures,” IEEE Trans. Image Process., vol. 26, no. 8, pp. 4005–4018, Aug. 2017.（论文2）

3、BLIQUP-SCI——blind quality predictor for screen content images
来源：F. Shao, Y. Gao, F. Li, and G. Jiang, “Toward a blind quality predictor for screen content images,” IEEE Trans. Syst., Man, Cybern., Syst., vol. 48, no. 9, pp. 1521–1530, Sep. 2018

4、NRLT——no reference visual quality estimation method for SCIs by statistical luminance features and texture information
来源：Y. Fang, J. Yan, L. Li, J. Wu, and W. Lin, “No reference quality assessment for screen content images with both local and global feature representation,” IEEE Trans. Image Process., vol. 27, no. 4, pp. 1600–1610, Apr. 2018.（论文7）

5、一种基于混合区域（SEPes、non-SEPes）特征融合的方法（文章没起名字）
来源：L. Zheng, L. Shen, J. Chen, P. An, and J. Luo, “No reference quality assessment for screen content images based on hybrid region features fusion,” IEEE Transactions on Multimedia, vol. PP, no. 99, pp. 1–1, Nov. 2019（论文13）

6、PQSC——perceptual quality measure by spatial continuity
来源：Perceptual Quality Assessment for Screen Content Images by Spatial Continuity期刊：IEEE Transactions on Circuits and Systems for Video Technology 作者：Yuming Fang, Senior Member, IEEE, Rengang Du, Yifan Zuo, Wenying Wen, and Leida Li（论文14）

多内容（不只局限于SCIs——基于cross-content-environment）

1、NR-IQA for NSIs（natural scene images）、SCIs以及document图像
J. Xu, P. Ye, Q. Li, H. Du, Y. Liu, and D. Doermann, “Blind image quality assessment based on high order statistics aggregation,” IEEE Trans. Image Process., vol. 25, no. 9, pp. 4444–4457, Sep. 2016

2、NR-IQA for JPEG压缩的NSIs和SCIs
X. Min et al., “Blind quality assessment of compressed images via pseudo structural similarity,” in Proc. IEEE Int. Conf. Multimedia Expo, Jul. 2016, pp. 1–6

3、UCA——Unified content-type adaptive
来源：X. Min, K. Ma, K. Gu, G. Zhai, Z. Wang, and W. Lin, “Unified blind quality assessment of compressed natural, graphic and screen content images,” IEEE Transactions on Image Processing, vol. 26, no. 11, pp. 5462–5474, Nov. 2017.（论文5）

数据集

1、SIQAD
来源：H. Yang, Y. Fang, and W. Lin, “Perceptual quality assessment of screen content images,” IEEE Trans. Image Process., vol. 24, no. 11, pp. 4408–4421, Nov. 2015
内容：20个参考SCIs，980个失真SCIs，7个失真类型，7级degradation level。
失真类型：
Gaussian noise (GN),
Gaussian blur (GB)
motion blur (MB)
contrast change (CC)
JPEG compression
JPEG2000 (J2K) compression
layersegmentation-based coding (LSC)

2、QACS
来源：S. Wang et al., “Subjective and objective quality assessment of compressed screen content images,” IEEE J. Emerg. Sel. Topics Circuits Syst., vol. 6, no. 4, pp. 532–543, Dec. 2016.

3、SCID
来源：Z. Ni, L. Ma, H. Zeng, J. Chen, C. Cai, and K.-K. Ma, “ESIM: Edge similarity for screen content image quality assessment,” IEEE Trans. Image Process., vol. 26, no. 10, pp. 4818–4831, Oct. 2017. （论文1）
内容：40个参考SCIs，1800个失真SCIs，9种失真类型，5级失真等级。
失真类型：
GN（Gaussian noise）
GB（Gaussian blur）
MB（the motion blur）
CC（the contrast change）
JPEG
J2K（JPEG2000）
CSC（color saturation change）
HEVC-SCC（HEVC added screen content coding）
CQD（color quantization with dithering）

4、SCD
来源：S. Shi, X. Zhang, S. Wang, R. Xiong, and S. Ma, “Study on subjective quality assessment of screen content images,” in Picture Coding Symposium (PCS), 2015. IEEE, 2015, pp. 75–79
内容：24个参考SCIs，492个失真SCIs，2个失真类型。

5、IML-SCIQD
来源：Study of subjective and objective quality assessment for screen content images 会议：ICIP2017 作者：Xu Wang, Lei Cao, Yingying Zhu, Yun Zhang, Jianmin Jiang, Sam Kwong（论文4）
内容：25个参考SCIs和1250个失真SCIs，包含10种失真类型，5级失真等级。失真类型：
JPEG compression (denoted as JPEG)
JPEG2000 compression (denoted as JP2K)
Gaussian blur (denoted as GB)
motion blur (denoted as MB)
white noise contamination (denoted as GWN)
salt & pepper noise (denoted as SPN)
multiplicative noise (denoted as MN)
contrast change (denoted as CC)
bit errors in JPEG2000 bit stream when transmitted over a simulated fast-fading Rayleigh channel (denoted as FF)
screen content compression [22] (denoted as SCC).

6、CCT （多内容类型数据集）
来源：Unified Blind Quality Assessment of Compressed Natural, Graphic, and Screen Content Images期刊：2017 IEEE TRANSACTIONS ON IMAGE PROCESSING作者：Xiongkuo Min, Kede Ma, Student Member, IEEE, Ke Gu, Guangtao Zhai, Member, IEEE, Zhou Wang, Fellow, IEEE, and Weisi Lin, Fellow, IEEE（论文5）
内容：共计72个参考NSIs、CGIs、SCIs，1320个失真图像。2个失真类型：HEVC、HEVC/SCC

不同IQA之间对比的常用方法/参数

SRCC（Spearman Rank-order Correlation Coefficient）
SROCC（the Spearman Rank-Order Correlation Coefficient）
PLCC（the Pearson Linear Correlation Coefficient）
KRCC（Kendall’s rank correlation coefficient）
KROCC（the Kendall Rank-Order Correlation Coefficient）
RMSE（the Root Mean Square Error）
MAE（mean absolute error）