《RankIQA：learning from Ranking for No-reference Image Quality Assment》论文阅读

摘要

       作者突出了一个无相关的图像质量评估的方法。此方法来源于RankIQA。为了刻画出IQA数据集大小的限制所带来的影响。作者训练的是Siamese网络就图像质量去给图像排序，通过去综合已知的相关图像质量来实现。这些排好顺序的图像可以自动的进行综合排序，而不需要人工的标注。作者使用精细的调整将训练好的Simese网络迁移到传统的CNN网络来对完整的图像质量进行评估。文中描述了为什么这种方法比传统的Siamese网络通过前向传播一个bath的图像，然后通过一个bath中的反向梯度传播工作地更加有效率。在TID2013基准点表现出了比state-of-art高5个百分点地效果。在LIVE基准上展示出了，该方法比现有的无相关图像质量检测办法拥有更好的效果。

介绍

日常生活中，图像在被获取的过程中，经常会收到扭曲、变形、模糊。IQA是一种对图像质量评估的技术，图像质量评估技术应该与许多人类评估的平均具有高度的相关性。该技术被广泛应用与图像质量重要的场景，例如图像修复、超分辨率图像和图像检索中。

IQA方法按照是否具有无失真图像被分为三个种类，FR-IQA、RR-IQA、NR-IQA。研究者几乎都专注与更加有现实意义的NR-IQA。在NR-IQA中，很多方法都专注于一个特别的形变扭曲特征。这一点直接限制了这些方法的应用。还有一些方法集合考虑了一系列的形变扭曲特征。

CNN对计算机视觉的研究和实践具有很大的影响。神经网络对于NR-IQA问题的应用的推动也是有重要的影响。对比于曾经的办法，这一研究方向带来了重要意义的进步。之前的办法表现出的问题是对一个较大的IQA数据集的缺失。特别是神经网络已经越来越深、越来越广，带来的是参数的急剧增长，所以对于IQA，需要更大的训练集。然而，在对于IQA的图像数据集标注过程中，对于每一张图像都需要多个人来标注，所以IQA标注过程将是一个极其耗时耗力的过程。然而可以获得的IQA训练集都是太小而不能有效地去训练CNN网络。

作者提出一个处理对大的数据集缺失的办法。因为人工标注费时费力，转而直接通过不同的图像处理，得到相应质量排序的图像。通过这种办法，从而获取到图像集，对于我们产生的图像集，即使对于每一张产生的图像，我们没有一个完全的图像评估策略，但是对一组图像，我们可以知道哪一幅图像具有更高的质量。把这种从排序中进行学习的方法叫做RankIQA，用这一方法可以就图像质量使用Siamese网络来进行图像的排序。然后将从排序的图像中学到的知识迁移到IQA数据来对传统的CNN网络进行微调，用以提高IQA的准确度。

第二个改进为：在Siamese网络中用一个方法来达到高效的反向传播。这个方法通过一个单独的网络向前发送一系列图像，然后反向传播的批处理中图像的梯度。实验表明这样的反向传播比其他训练协议要更好。github网址：https://github.com/xialeliu/RankIQA 

2相关工作

作者关注于形变类的NR-IQA。

传统的NR-IQA方法。大部分传统的NR-IQA可以被分为Natural Scene Statistics（NSS）和learning-based方法。对于NSS，假定对于不同质量的图像在经过特定滤波所得到的响应是不同的。Wavelets、DCT、和Curvelets是通常在不同的网络被用来提取特征。这些特征分布参数化的，例如普遍高斯分布。这些方法的目标是估计参数分布，从而推断图像质量评估。传统方法都是通过提取出自然统计分布特征，并以此来对图像质量进行评估。对于现有的小的图像质量评估数据集，通过无监督的学习方法，被用在没有MOS数据集的特征提取。特征图可以用来建立人类视觉系统以及通过这些方法进行精度上的提高。

深度学习的NR-IQA。近期一个主要的缺陷就是对于较大的标注数据集的需求无法得到填补。为了解决这一问题，Kang等人在2014年的CVPR发表了Convlutional neural networks for no-reference image quality assessment，认为一次性送入小批量的32x32的图像而不是完整的图，从而极大的增加了训练的样本。Kang等人在2015年的ICIP上发表了Simultaneous estimation of image quality and distortion via multi-task convolutional neural networks。方法是设计一个多任务的CNN网络去学习图像形变以及图像的质量。Bianco等人提出使用一个预训练网络去减缓训练数据的不足。他们从一个与训练的模型然后基于IQA数据集进行微调，从而提取图像特征；这些特征然后被送给SVR模型，再匹配到最后的输出分数。这篇文章的作者提出的是另外的一种策略去解决训练数据不足的问题。使用了大量的通过生成的按照图像质量进行排序的图像集来训练一个深度的神经网络。相比其他完全基于IQA数据集训练的网络就具有更深更广的神经网络。

排序学习。通过最小化排序损失从一个真实的排序学会如何去排序。这一功能可以被用来对测试目标进行排序。【25】的作者使用了随机梯度下降的方法对成对的图像进行排序。这已经成功应用于较大的数据集。结合排序以及CNN网络的思想，孪生网络再人脸的验证问题上表现出了很好的效果。其他再NR-IQA有用到排序的文章【6】是组合了不同的手工特征去表征图像对的特征。作者的办法最主要的不同不是专注于排序，而是将排序作为一种数据的增强的技术来进行学习。使用了易获得的数据集来对图像进行排序，从而来训练网络，这是对NR-IQA任务的微调。

Hard-negative mining对于孪生网络的训练。作者提出的是一个高效的孪生反向传播网络，不仅仅是基于hard-negtive选块。是