图像增强（image enhancement）Deep Photo Enhancer: Unpaired Learning for Image Enhancement from Photogra...

cvpr2018的一篇论文，本文采用gan网络做图像增强。主要工作有以下三个方面。

生成器：本文采用U-net为基础设计生成器。作者认为u-net之前在该类任务种表现不好的原因是缺少全局特征，因此在原u-net基础上设计网络结构如下：

generator

原图经过五个卷积层提取特征，卷积核大小为5*5，激活函数为selu，得到32*32*128的特征向量。该特征为局部特征。在局部特征的基础上，再经过两次卷积得到8*8*128的特征向量。将该特征经过一个全连接层得到1*1*128的特征作为全局特征。复制全局特征到32*32*128维后和前边的局部特征融合得到图片的混合特征。通过这种方式把全局信息引入到u-net种。文中比较了多种生成器模型，8RESBLK是cyclegan用的生成器，结果如下：

The average accuracy of different network architectures

One-way GAN：采用上述的模型作为生成器，采用WGAN的结构作为one-way GAN的模型。文章提出，WGAN的性能很大的程度上受梯度惩罚函数前的权重因子λ的影响，实验结果如下：

Comparisons of different GANs and parameters

为解决这个问题，文中提出了新的梯度惩罚策略，首先将梯度惩罚函数改为：

gradient penalty

惩罚梯度大于一的部分。同时梯度惩罚前的权重因子不再固定为一个值，采用动态变化的方法，当梯度变化大于一个上限阈值的时候，λ扩大为原来的两倍，小于一个下限阈值的时候，λ缩小为原来的二分之一。

Two-way GAN：简单的将上述的One-way GAN扩展到Two-way GAN，效果提升并不是很明显，楼主提出输入X，和生成的fake X具有不同的分布，但是输入到同一个生成器，这样子是不合适的，

2-way GAN

因此在原有的模型上加入了BN层学习不同输入的分布。结果如下：

The comparison of 1-way GAN, 2-way GAN and 2-way GAN with individual batch normalization (iBN).

文章最终的效果，作者给出了一个demo，效果提升明显，特别是在HDR方向，下一步自己准备尝试在deblock和deblur的效果

Unpaired Learning for Image Enhancement from Photographs with GANs