2018-04-16

论文:End-to-End Blind Image Quality Assessment Using Deep Neural Networks

作者:Kede Ma , Wentao Liu, Kai Zhang,Zhengfang Duanmu ,Zhou Wang and Wangmeng Zuo ,

文章及相关资源链接:资源

几个名词:GDN、the gMAD competition、D-test、L-test、P-test

GDN: Generalized Divisive Normalization(广义分裂标准化),本文中使用的激活函数。不同于ReLU,作者认为GDN可有效减少模型参数。GDN作为基于生物启发的激活函数,在评估图像质量[1],高斯化图像密度[ 2]和压缩数字图像[3]方向证明有效。

[1]Q. Li and Z. Wang, “Reduced-reference image quality assessment using divisive normalization-based image representation,” IEEE J. Sel. Topics Signal Process., vol. 3, no. 2, pp. 202–211, Apr. 2009.

[2] J. Ballé, V. Laparra, and E. P. Simoncelli, “Density modeling of images using a generalized normalization transformation,” in Proc. Int. Conf. Learn. Represent., 2016, pp. 1–14.

[3] J. Ballé, V. Laparra, and E. P. Simoncelli, “End-to-end optimized image compression,” in Proc. Int. Conf. Learn. Representat., 2017, pp. 1–27.

the gMAD competition:the group MAximum Differentiation (gMAD) competition(群体最大差异化竞争方法):考察模型普遍性和健壮性的方法。允许一组模型在大型数据库中发现最佳刺激进行竞争,并能够尽量减少测试刺激的数量,因为基本上甚至有一个反例就足以反证一个模型。

D-test:Pristine/distorted image discriminability test(原始/失真图像辨别性测试)。给定一个数据库,我们将原始和失真图像的分组分别设为Sp和Sd, 基于模型预测,可以找到最优阈值T *以最大化正确的分类率


D-test
条件

L-test:List wise ranking consistency test(排名一致性测试)。测试仅在失真级别上有所不同图像在BIQA模型的一致性。首先假设,随着任何失真类型的失真水平的增加,图像质量单调地降低。 给定具有J个源图像,C类畸变类型和L个畸变等级的数据库,采用平均SROCC来量化排序一致性


L-test

其中I是失真等级, s是模型预测值

P-test:Pairwise preference consistency test(成对偏好一致性测试)。它建立在DIP(可区分图像对)的概念上,该概念包含两个感知质量可区分的图像。 给定Q个 DIP的数据库,BIQA模型正确预测了Qc 个(DIP)的一致性


P-test

关于D-test、L-test、P-test见参考文献[4]。

[4] K. Ma et al., “Waterloo exploration database: New challenges for image quality assessment models,” IEEE Trans. Image Process., vol. 22, no. 2, pp. 1004–1016, Feb. 2017.

论文内容:

本文提出了一个多任务端到端优化深度神经网络(MEON)实现盲图像质量评估。 MEON由两个子网络组成 , 一个失真识别网络和一个质量预测网络,二者共享早期层。与用于训练多任务网络的传统方法不同,本文的训练过程分两步进行,第一步训练一个识别失真类型的子网络;第二步,从预训练的早期层和第一个子网络的输出作为初始化,使用随机梯度下降法的变体来训练质量预测子网络。本文选择生物启发的广义分裂标准化(GDN)而不是ReLU作为激活函数。作者凭经验证明,GDN可有效减少模型参数/图层,同时实现类似的质量预测性能。由于模型复杂程度适中,所提出的MEON指数在四个公开可用的基准上达到了最新水平。此外,使用群体最大差异化竞争方法证明了MEON对于最先进的BIQA模型的强大竞争力。

输入:大小为256×256×3的图像

输出:图像失真类型和预测质量

网络结构:


MEON

卷积层参数:height × width | input channel × output channel | stride | padding

子网络I旨在以概率向量的形式识别失真类型,其表示每个失真的可能性并且作为子网络II的部分输入馈送,子网络II的目标是预测图像质量。每个子任务都有损失函数,由于子网络II依赖于子网络I的输出,所以两个损失不是独立的。我们通过子任务I对MEON中的共享层进行预训练,然后利用统一的损失函数联合优化整个网络。

GDN变换被定义为:


GDN

其中,S代表维度,偏差向量β,权重矩阵γ,其值都>=0

输入结构:


输入

Xk代表第k个图像, P(k)代表第k个图像的失真类型, q(k)代表第k个图像的MOS值

早期的共享层参数表示为W,经过在卷积池化后。用64维特征向量表示256×256×3原始图像,子网1的参数表示为W1,将预测出的失真类型,我们采用softmax函数将范围编码为[0,1]


失真类型预测


C种失真类型的概率

子网1的损失函数


经验交叉熵损失

子网2的参数表示为W2,其损失函数为


L1范式

其中,

si是第i类失真对应的分数

因此,整个网络的损失函数可定义为


损失函数

训练第一步,最小化子网1的损失函数,第二布,联合优化,最小化整个损失函数。实验过程及结果参见论文。

你可能感兴趣的:(2018-04-16)