图像质量评价IQA—GAN篇（12.5）

1、Hallucinated-IQA: No-Reference Image Quality Assessment via Adversarial Learning

简单记录而已，问题很多，欢迎讨论。

GAN主要就是生成器和判别器。

1、生成器

生成就是从失真图产生高分辨率的幻觉图，因此loss就是生成的幻觉图与真实参考图的差（这里我觉得他用到了参考图，不知道为什么还叫No-Reference ），这里的优化目标他分为两种：像素差和视觉差。即lp和ls。

其中lp就是两者像素的差值。（where lp penalizes the pixel-wise differences between the output and the ground truth with pixel-level error measurements,such as MSE, to generate holistic content)

就是两者经过VGG-19后得到的特征差，作者将ls又做了划分。

结合D网络，G的损失函数如图

2、判别器

如何G生成的图像对R（质量分数预测网络）造成的影响是积极的就是真样本，反之为假。

3、R网络

采用之前的方法进行质量评估

可能他说的无参考是指R网络进行质量评估时没有使用参考图吧。因为R依赖与G，在假定G训练之后，给R增加了一个约束。

 

2、Blind Predicting Similar Quality Map for Image Quality Assessment

虽然不是使用GAN网络，但是采用的是图像对图像的思想，所以也记录在这里吧。

第一步，得到quality map。采用的是u-net网络，生成两个quality map，一个是SSIM做label，另一个是FSIM做label。

第二步，回归 quality score。生成两个map后，连接。然后输入到FC做回归score。

好像也没有要多说的，文章的思想也很清楚，简单明了，就是不知道作者使用u-net生成的两个map图的结果到底怎么样。如果效果还可以理论上直接还原未失真图像也是可行的，但是想要到达一定的效果，恐怕要做不少的工作。