DPED和WESPE详解

讲解一下个人对这两篇文章的阅读理解，这两篇的工作是连贯的，所以一起说
原文在这里：
DPED
WESPE: Weakly Supervised Photo Enhancer for Digital Cameras

DSLR-Quality Photos on Mobile Devices with Deep Convolutional Networks

摘要

由于智能手机的相机的硬件限制–感光芯片小，紧凑的镜头和缺乏某些硬件，导致他的成像效果没有单反好。文章所要做的是学习转换函数，提升图像的色彩还原度和清晰度。
虽然随着近些年的软件和硬件的发展，低端的相机的拍摄质量有很大的提升，但是更大的感光芯片和大光圈，导致了跟高的图像分辨率，色彩还原度和低噪声。虽然大量的图像增强的工具存在，在只是调一下对比度，亮度之类的，没有提升纹理质量，和也没有考虑语义。他们也不考虑特定的机器。
作者认为这里的自动图像质量的增强（automatic image quality enhancement）还没有被完整的研究过，研究的只是他的一部分：如图像的超分辨率，图像的去燥，去雾，图像的着色，图像的调整。那么的确作者要做的是一个比较综合的改进。

贡献

作者的方法是学习从手机的相机拍的照片到单反拍的照片的一个转换函数关系，来解决这个优化问题。主要贡献是：

1. 提出一个端到端的训练方式，实现照片的优化
2. 创建了一个数据集，6k张图片同时通过单反和三个低端相机采集
3. 提出的多项损失函数，考虑了颜色纹理内容。
4. 实验测试了很多主观和客观的质量来证明方法的有效性，并且达到了单反级别的效果

数据集

数据集的采集是用4台设备同时采集，共22k张图，每个各5,6千张不等，拍的是同时同地的东西，但是会有一些视角的偏差。由于有一些视角的偏差，所以在DPED中使用匹配算法将图像做了调整。具体做法是：用sift找两张图的特征点，找到公共的部分，然后将单反拍的图降分辨率得到和手机拍的一样尺寸的图。然后再训练时，由于输入大图不太现实，所以把大图分割，得到100x100的小图对来作为输入。

方法

损失函数

由于不同的光圈和感光芯片的愿意，很难实现图片对之间的稠密匹配，所以本文没用像素的差的损失，而是考虑了三个独立的部分：颜色质量，纹理质量，内容质量

颜色损失

颜色损失就是只考虑颜色分布的相似性，为了祛除位置偏移和纹理，内容的影响，作者对网络输出的图做了一个高斯模糊，再做mse损失函数，如下式：

纹理损失

纹理损失是训练了一个判别器，先用{phone, DSLR}图像对预训练一个判别器，用来判断纹理差异，再到后面联合训练，损失函数为：

其中Fw是生成器，D是判别器

内容损失

没有使用每个像素的差值作为评价标准，使用的是在风格迁移中的感知损失，就是将图输入vgg中，取某一层的特征，最小化他们的高斯距离，如下所示：

TV损失

就是要求图片的局部的平滑性，求图片两个方向的梯度，这个方法在风格迁移中也有，损失函数如下：

全部损失

最后的损失函数就是以上的加权

网络结构

如上图所示，整个结构是一个GAN，生成网络Fw是一个全卷积网络，有残差模块，bn组成，将手机的拍摄图片输入，输出改善的图片。FW的输出和目标图经过高斯模糊作差得到颜色损失，FW的输出做梯度得到tv损失，两图输入判别网络，做纹理损失；两图输入vgg取中间层特征做内容损失。

WESPE: Weakly Supervised Photo Enhancer for Digital Cameras

这篇是上一篇的后续，内容是延续，但是这篇不需要图像的配对，是弱监督的训练

方法

整个网络结构如上，由于没有上一篇文章的成对的训练数据，所以本文就将低质量的图先生成高质量的，再变回去来保证内容的一致性，这个思想和TWO-WAY GAN类似，但没有反过来对高质量图操作。这里用了两路判别网络分别来优化纹理和颜色损失。

内容一致性损失

这个损失和上文的内容损失差不多，不过这里没有成对的训练图像，所以是先通过G,再通过F，得到原图，这样来限制内容的一致性。 但是为什么能保证中间的输出内容不变呢，损失函数如下：

对抗颜色损失

这个和上文的颜色损失类似，但是同样因为没有成对图片，所以是将G生成的图片和高质量的图片先都做一个高斯模糊，再训练一个判别网络Dc来区分颜色的差异性，主要考虑的是颜色的亮度，对比度，和主要颜色，用高斯模糊是为了避免内容和纹理的影响。 损失函数：

对抗纹理损失

就是要让优化后的图的纹理和目标图有一样的质量，这里将G的输出图像灰度处理，输入纹理判别网络的是灰度图。损失函数如下：

TV损失

和上文是一样的

疑问

第二篇文章用的内容损失如何保证G生成的图像和原图内容一致，虽然限制条件是经过G和F后的图要内容一致，但中间的图怎么一致呢

参考

https://blog.csdn.net/lyl771857509/article/details/84405388