EnlightenGAN 论文阅读笔记

EnlightenGAN 论文阅读笔记_第1张图片

  • 这是一篇低光照图像质量增强的论文。
  • 模型的结构是这样的:总的来说还是遵循GAN的框架的,Generator是一个Unet,然后有两个discriminator,其中一个对全局做,一个对局部的patch做
  • EnlightenGAN 论文阅读笔记_第2张图片
  • 在此框架上,模型有两个亮点:Self Feature Preserving Loss 和 Self-Regularized Attention

Self Feature Preserving Loss

  • 因为没有成对图像监督训练,为了避免网络修改图片内容,将增强前后的图片送进VGG提取特征,然后对两个特征的距离进行惩罚。其实就是将有监督GAN的perceptual loss 用自监督的方式使用了。之所以这么做还有个理由,文章提到说,VGG的这个特征提取,好像对亮度不敏感。
  • 该 loss也是既对局部也对全局做,因此有两个。总的loss如下:
  • 在这里插入图片描述

Self-Regularized Attention

  • 其实就是网络结构图中与图片一起concatenate的attention map,这个map就是 1 − I 1-I 1I,其中 I I I是归一化后的图片亮度,因此越亮的地方注意力越小,越暗的地方注意力越强。简单但是有效。

  • 此外注意到后面的实验中提到,对exdark中的图片用 ElightenGAN 增亮后再进行图像分类,准确度提高了1%

你可能感兴趣的:(论文阅读笔记,计算机视觉,深度学习,人工智能)