2018-03-27

论文： Convolutional Neural Networks for No-Reference Image Quality Assessment

作者 ：Le kang, Peng Ye, Yi Li and David Doermann

时间 ：发表2014

代码链接：代码

名词解析：MOS/DMOS、SROCC 、LCC

MOS值：平均主观得分， MOS值越大，图像质量越高；DMOS值：平均主观得分差异， DMOS值越大，图像质量越低。

SROCC：通过单调性衡量算法性能；LCC：通过相关性和准确性衡量算法性能。除此之外，还有RMSE计算绝对误差衡量准确性、KROCC、OR等衡量指标。

数据库：LIVE、TID2008作为常用数据库，初次之外还有CSIQ、IVC等。其中LIVE于2006年美国德克萨斯大学建立。包含图像 29幅，分辨率438*634-512*768。失真5种，失真图像779张。指标为DMOS（0-100分制）。TID于2008年乌克兰国家航空航天大学建立。包含图像 25幅，分辨率384*512。失真17种，失真图像1700张。指标MOS（0-9分制）

论文内容：用卷积神经网络实现无参考图像的质量评价。CNN尚未应用于通用的无参考图像质量评价，因为原始的CNN并不是专门用于获取图像质量特征，而是用于获取用于物体识别的局部不变特征。因此作者修改了网络结构，使其可以更有效的学习图像质量特征。将特征提取和回归集成到常规的CNN框架，一来加深的网络深度，提高其学习能力，如：实验表面使用比CORNIA方法更少的滤波器达到更好的效果；二来，网络作为一个整体，可以使用反向传播等简单方法对整个网络训练，比较方便地结合用于改善学习的技术，如dropout和 ReLU，因向所有层应用dropout会显著增加达到收敛的时间， 作者仅在第二个全连接层使用dropout，同时最小池化会保留负值信息，因此在卷积和池化层之后不使用ReLU。

网络输入为32*32的图像块，输出为一个数作为量化的图像质量。网络结构：第一层是一个卷积层，50个内核，每个大小为7×7的对输入进行滤波，步长为1；接着是最大最小池化；两个全链接层；最后一层是一个简单的线性回归。如图所示：

修改后的CNN结构

提取特征：基于NSS自然场景统计。传统的提取基于NSS的特征是使用小波变化或者DCT，因为图像转化代价大，因此速度很慢。CORNIA和BRISQUE方法提出从空域提取特征，减少时间花费。同时CORNIA表明，可以直接从原始图像中学习判别图像特征。在这之前，也有用神经网络做无参考的图像质量评价，采用一般回归神经网络作为输入感知特征，包括相位一致性，熵和图像梯度或者结合多个特定失真的测量方法。这些方法需要预先提取手工特征，并且只使用神经网络来学习回归函数。

论文方法特点：文章的方法无需手工特征，直接从规范化的原始图像中学习判别特征。且效果好于上面提到的ORNIA和BRISQUE方法。且文中提出的框架允许学习和预测局部图像质量。本文着重关注由图像降级引起的失真，例如模糊，压缩和加性噪声。对于对比度和亮度变化引起的质量差异不作为失真。

过程：

1)给定灰度图，作对比度归一化(局部,不同于识别中的全局归一化)

2)对归一化的图像作不重叠采用

3)使用CNN估计每个图像patch的质量

4)对patch质量平均得到整幅图像的质量

训练：

损失函数：L1范式

更新权重：

update weights

其中，learning rate=0.1，learning rate decay (d) = 0.9，starting momentums(rs)=0.9，ending momentums(re)=0.5,T=10

训练集：60%，测试集：20%； 验证集：20%。论文数据来自100次迭代训练测试

CNN设计中涉及的参数：

1)卷积核数量：实验显示，使用更多的卷积核会带来更好的性能，（测试从5个到5个）但是当内核数量超过40时，获得的性能增长很少。

2)卷积核的尺寸：从文中实验得出，（测试了5*5， 7*7， 9*9）所有测试的卷积核大小都表现出相似的性能。 建议的网络对核大小不敏感。

3)图像块尺寸：为图像块尺寸越大，数量则越少的情况，实验允许重叠采样并固定步长。这样当图像块尺寸变化时，每幅图像的块数量大体不变。实验显示尺寸越大，性能越好。不过较大的图像块会导致处理时间增加，降低空间质量分辨率（测试了16*16， ）。

4)采样步长：较大的步幅通常导致较低的性能，因为较少的图像信息用于整体估计。但是在步长达到128时，依然维持了不错的性能。

关于局部质量平均实验：该CNN测量小图像块的质量，因此可用于检测低/高质量的局部区域，并为整个图像提供全局评分。验证方法如下：从TID2008中选择一个未失真的参考图像，并将其分为四个垂直部分。 然后用三种不同等级的失真版本替换第二部分到第四部分。然后使用模型进行评价。结果表面模型可以准确定位失真区域。