【IQA】Hallucinated-IQA: No-Reference Image Quality Assessment via Adversarial Learning

这是一篇2018年CVPR的论文,强调的一点是生成网络(GAN)和回归网络的互补互助,将两个网络结合在一起进行端到端的训练。

作者运用了“没有条件要创造条件”的思想,提出了通过GAN生成的伪参考图引导质量回归网络来解决无参考图像质量评价问题。

数据库:LIVE、CSIQ、TID2008、TID2013

项目:https://kwanyeelin.github.io/projects/HIQA/HIQA.html

框架:caffe

贡献

1、在质量回归网络中引入GAN,为NR提供了伪参考图; 

2、在GAN的生成器中加入了质量感知的loss;

3、使用判别器判别伪参考图;

4、进行特征融合,防止无意义的伪参考图对R造成影响;

网络架构

【IQA】Hallucinated-IQA: No-Reference Image Quality Assessment via Adversarial Learning_第1张图片

生成网络:输入为失真图像,通过卷积和反卷积,生成一张伪参考图(Hallucinated image);

判别网络:判断生成的伪参考图和失真图像是否相似;

图像质量预测网络:输入是失真图和伪参考图与失真图的差异图(Discrepancy Map),输出质量分数。

1、质量感知生成器(G)

总损失:

Lp损失是参考图与GT的像素级误差(MSE),即

Ls损失是特征空间质量感知误差,即

 【IQA】Hallucinated-IQA: No-Reference Image Quality Assessment via Adversarial Learning_第2张图片

 Lv是G的相关损失,Lq是R网络相关的损失(这样通过R网络预测质量分数的好坏,影响了G网络)。

Ladv是G的对抗损失,即

2、判别器(D)

引入了对抗生成的机制,判别G生成的图片是否真实,反向促进了G的优化

3、质量回归网络(R)

输入:失真图和差异图

高级语义融合:防止生成无意义的伪参考图影响R质量回归。

损失:

 

 

你可能感兴趣的:(计算机视觉,深度学习)