文章学习45“Deep Neural Networks for No-Reference and Full-Reference Image Quality Assessment”

这篇文章发表于TIP2018，作者来自德国柏林赫兹研究所，这篇文章应该算是NR-IQA用深度学习方法领域的经典文章了，pytorch代码也已放出，所以很多后续的工作都是在此代码基础上进行改进，比如伟浩的代码就是在此基础上进行code，因此希望以此作为baseline先打通IQA的coding 之路。

本文提出了一个通用的IQA网络，既可以完成FR-IQA，又可以完成NR-IQA任务，先放网络结构图：无一例外，仍然是VGG的孪生网络，但有所不同的是特征融合部分以及最后质量评估时的加权平均（这个处理很像attention机制）。

咱们具体来看这个网络，首先对于FR-IQA，网络输入的是两部分，GT的patch（作者采用随机采样得到一系列32*32的patch，这一点和rankiqa中提出的使用较大子图像以保证前后文信息相悖）和distorted的patch，孪生网络的主结构是VGG，并增加0.5的dropout以防止过拟合；得到孪生网络的两个输出之后，对其进行特征融合，融合的特征是三部分，孪生网络的两个输出（reference patch和distorted patch经过VGG特征提取后的部分）以及前两者之差，将这三种特征通过concat进行融合，这里也比较容易理解，我们希望孪生网络学习到的应当是这两种图片的差别，但只用差值又会损坏图像，所以将这三者进行concat，保证孪生网络更好学习；而后将融合之后的特征同时输入两个FC子网络，这两个FC都是512和1的全连接层，一个子网络用来对 patch进行回归打分，另一个同样的子网络用于学习权重，而后将学习到的权重赋予patch，（也就是作者觉得一幅图像当中每个patch对于质量评价的重要性是不同的，这一点和NIQE的观点是符合的，就是人类打分会偏重于感兴趣区域），我原以为这就是典型的attention做法，但后来一想attention很难完成这个任务，目前的attention也就是对spatial或者channel进行attention，很难做到对输入进行attention，加权公式：

学习特征的那个子网络只有FC层，学习权重的网络除了两个FC之外还有一个relu激活函数得到阿尔法，作为权重赋给前面的特征。（WaDIQaM-FR）

最终得到的图像打分和mos通过mae作为loss进行学习：

因此整个网络是一个end 2 end的学习过程，loss只有一个就是分值，前后叠加了两个孪生网络完成这一任务。当然作为对比作者也设置了不用权重的网络，就是直接将学习权重的子网络去除（DIQaM-FR）。

对于NR-IQA，也依据是否使用权重网络分成两个方向（WaDIQaM-NR和DIQaM-NR），网络结构就是将FR中第一个孪生网络部分的reference patch去除，也就没有了特征融合部分，直接学习到的特征进行打分，以mae和mos计算结果，但可以使用FR中的预训练权重。

对于提出的四个网络WaDIQaM-FR，DIQaM-NR和WaDIQaM-NR，DIQaM-NR分别进行了实验，在LIVE和TID2013数据集上进行训练，实验结果如下：对于FR来说，权重的学习上有效的，但是对于NR来说，权重学习没有意义，也就是说只有当GT存在时，权重才能学到有效部分，作者后面也做了可视化证明了这个发现。

另外作者还在未经训练的CLIVE数据集上进行测试，结果如下，还是要比基于NSS的传统做法要好不少的，这个文章被TIP接收是17年10月份，那做实验应该就很早了，IQA的大多数作品还没出现，而且作者还做了大量的对比实验，包括特征融合部分的选择，每张图像上patch数量的选择，网络深度选择等，是有一定的借鉴和学习价值在的。另外作者主打的是如何跨越FR到NR的桥梁，这篇文章也着重在提出一个网络同时完成这两部分工作，思想是很棒的。