文章学习44“RankIQA: Learning from Rankings for No-reference Image Quality Assessment”

本文是ICCV 2017年一篇文章，作者来自西班牙UAB（巴塞罗那自治大学），是IQA里比较经典的方法。本文一个比较中心的思想就是：人类对于图像很难进行一个客观的打分结果，但是对于两个图像质量排序很容易获得。因而本文将质量排序融入质量评估，结合siamese网络进行质量打分。

图像质量评价（IQA）可以分成三个做法：FR-IQA（全参考质量评价），比如PSNR，SSIM这种，有label存在，根据图像同lABEL间区别判断质量；RR-IQA（半参考）一般不会考虑这种方法，也很少有人研究；NR-IQA（无参考质量评估）是最符合真实需求的，也是现在研究最广的方向。

NR-IQA的传统做法包括NIQE和brisque这种利用图像NSS信息的和基于学习的方法。但目前的研究多在深度学习领域，而由于训练数据的不足，大家的一般都是将图像裁剪成一定大小的patch以增加数据量，而后利用MOS进行训练，通过SVR得到连续的质量得分。而本文采取了完全不同的做法，通过学习一个rank网络进行数据增强。

首先，生成rank数据集，和ranksrgan相反，这里是用clean image经过不同程度的失真得到rank的数据集；而后取一组排好序的数据集输入siamses网络的两个输入，让网络学习图像质量的rank信息；最后取siamese网络的一支当作pretrained的model，利用已有IQA信息的数据集进行finetune，rank的siamese已经学习到了很强的质量信息，可以给IQA阶段提供有效的指导意义。

具体来看，Siamese学习过程中，同ranksrgan一样，分别向两个分支输入两个排名不同的图像，网络通过rank hinge loss进行学习，学习好的model要在人工标记的IQA数据集上进行finetune，利用mse loss学习。

实验：作者在网上挑选了4744张图像形成了the Waterloo dataset，而后添加不同的失真形成rank数据集，另外作者从PLACE365数据集中选取了36500张图像进行验证，作者希望证明即使针对不是用于IQA的数据集，方法也一样使用。

对于数据集的预处理，作者没有采用传统的裁剪成patch，而是随机采样子图像，且子图像大于原图的1/3，以捕捉图像non-local信息，以此方法每个原图像抽取出30张子图构成clean数据集，添加5种不同的失真形成训练数据集。

评价标准就是SROCC和PLCC，在LIVE数据集上的表现如下。