图像超分辨EnhanceNet- Single Image Super-Resolution Through Automated Texture Synthesis笔记

图像超分辨EnhanceNet: Single Image Super-Resolution Through Automated Texture Synthesis笔记

---

简介

• 作者写这篇文章，主要是提出了损失函数的改进。传统的损失函数是MSE，虽然很好优化，但它是所有可能的纹路取平均的结果，因此看起来较为平滑，很不自然。因此，作者将提出一个不同的损失函数，联合对抗训练，来提高SISR的感知质量。

SISR

• 文中列举了一个用不同损失函数超分辨的示意图：
  
• 在降采样得到LR时，HR的细节信息已经丢失了，如果用MSE作为损失函数，只会估计出所有可能的平均值。而单纯使用对抗损失虽然不是像素级的精确，但可以生成更加真实的细节。

模型

• 作者使用的网络结构如下：
  
• 关于升采样部分，最自然想到的是一开始就用双三次插值，但这样会增加网络的计算量。如果在后面用解卷积，又会引入环状效应，还额外需要正则项。最后作者选择使用引入环状效应更小的最近邻升采样。

损失函数

• 除了MSE损失，作者还引入了其他损失函数。

Perceptual loss in feature space

• 这个损失的计算是把 Iest 和 IHR 送入一个函数 ϕ ，计算在 ϕ 映射下的L2损失： LP=||ϕ(Iest)−ϕ(IHR)||22 。
• 一般 ϕ 可以用预训练好的VGG19在第二和第五池化层的输出。

Texture matching loss

• 该损失的表示为： LT=||G(ϕ(Iest))−G(ϕ(IHR))||22 ，其中G为gram matrix G(F)=FFT 。
• 这个和分割迁移的损失类似，用在这的主要目的是生成和HR图像相似的局部纹路。经验是16*16生成的效果最好。

Adversarial training

• 没理解：we keep track of the average performance of the discriminator on true and generated images within the previous training batch and only train the discriminator in the subsequent step if its performance on either of those two samples is below a threshold.

实验

• 首先对比几个不同的损失函数：
  
  
• 可以看出来，只用MSE生成的相当模糊，而只用Perceptual loss又会引入不必要的高频结构。但引入了Texture matching loss后，效果就好了非常多。虽然ENet-E的PSNR最高，但是视觉上的质量并不是最好的。