论文阅读：Dehaze-GLCGAN: Unpaired Single Image Dehazing Via Adversarial Training

1. 摘要

    本文提出了一个名为Global-Local Cycle-consistent Generative Adversarial Network（Dehaze-GLCGAN）的去雾网络。该网络包含两个生成器和四个判别器。两个生成器分别用于从雾图产生去雾图和从无雾图产生雾图。四个判别器，两个为全局判别器，两个为局部判别器。全局判别器用于判别整张图像，局部判别器用于判别局部图像块。

2. 网络结构

2.1 整体结构

    网络的整体结构如图1：

图1 网络整体结构

    领域$A$为雾图，领域$B$为无雾图。$G_A$用于将$A$的图像转换成$B$的图像，$G_B$用于将$B$的图像转换成$A$的图像。$D_A^{global}$用于判断一张雾图是从A中取样的还是$G_B$生成的，$D_B^{global}$用于判断一张无雾图是从B中取样的还是$G_A$生成的。$D_A^{local}$用于判断一个局部雾图块是从A中取样裁剪的还是$G_B$生成的雾图裁剪的，$D_B^{local}$用于判断一个局部无雾图块是从B中取样裁剪的还是$G_A$生成的无雾图裁剪的。
    局部块是从图像中随机裁剪的5个大小为64×64的块。通过消融实验，证实了添加$D_A^{local}$和$D_B^{local}$的效果更好。

2.1 网络详情

    两个生成器使用相同的网络框架，同样所有的生成器也是使用相同的网络框架，只不过输入的图像尺寸不同。

1) 生成器

    $G_A$框架如图2所示。

图2 生成器结构

    $G_A$有三个模块，分别是编码器，特征转换器和解码器。编码器中首先是一个卷积层外带实例标准化和ReLU激活函数，接着是两个下采样块。特征转换器包含了六个残差块，残差块如图2右下角所示。编码器首先时两个用反卷积层的上采样块，和编码器是镜像结构。
    $G_B$与$G_A$有着相同的框架。

2) 判别器

    图2右边部分展示了$D_B^{global}$和$D_B^{local}$。$D_A^{global}$和$D_B^{global}$有着相同的框架，$D_A^{local}$和$D_B^{local}$有相同的框架。全局判别器在雾不均匀的图像上会判别失败，所以才引入了局部判别器用于判别从图像随即裁剪的局部图像块。

3. 损失函数

3.1 对抗损失

    全局判别器损失：
$$L_D^{Global}=E_{x_r\sim P_{real}}\left[{\left(D\left(x_r\right)-1\right)}^2\right]+E_{x_f\sim P_{fake}}{\left[\left(D\left(x_f\right)-0\right]\right)}^2]\text{\hspace{1em}(1)}$$

    全局生成器损失：
$$L_G^{Global}=E_{x_r\sim P_{fake}}\left[{\left(D\left(x_f\right)-1\right)}^2\right]\text{\hspace{1em}(2)}$$

    局部判别器损失：
$$L_D^{Local}=E_{x_r\sim P_{real-patches}}\left[{\left(D\left(x_r\right)-1\right)}^2\right]+E_{x_f\sim P_{fake-patches}}\left[{\left(D\left(x_f\right)-0\right)}^2\right]\text{\hspace{1em}(3)}$$

    局部生成器损失：
$$L_G^{Local}=E_{x_f\sim P_{fake-patches}}\left[{\left(D\left(x_f\right)-1\right)}^2\right]\text{\hspace{1em}(4)}$$

3.2 循环一致性损失

    循环一致性损失如下。具体看这篇博客。
$$\begin{array}{rl}{L}_{cycle}\left(G_A,G_B\right)=& E_{x\sim p_{\text{data}(x)}}{\left[\Vert \left(G_B\left(G_A(x)\right)-x\right)\Vert \right]}_1\\ +& E_{y\sim p_{\text{data}(y)}}{\left[\Vert \left(G_A\left(G_B(y)\right)-y\right)\Vert \right]}_1\end{array}\text{\hspace{1em}(5)}$$

3.3 颜色损失

    颜色损失如下：
$$L_{color}(A,B)={\Vert \left(A_{blurred}-B_{blurred}\right)\Vert }_2^2\text{\hspace{1em}(6)}$$

    其中$A$和$B$分别为增强图像和无雾图像，$A_{blurred}$和$B_{blurred}$分别为$A$和$B$经过高斯模糊处理后的图像。

    文中说该损失用于测量增强图像（Enhance image）和无雾图像（haze-free image）之间的差距，但是没有说该增强图像是什么。 颜色损失在《Dslr-quality photos on mobile devices with deep convolutional networks》这篇文章中提出，文章是关于图像复原的，所以有增强图像。但是本文中，我不太清楚这个增强图像具体指什么。两种猜测：
    第一，增强图像是指去雾图像，但是本文是无配对图像对的数据集，所以并不存在雾图的Ground-Truth。
    第二，去除一张无雾图像$y$，增强图像指的是$G_A(G_B(y))$。这和循环一致性损失相似。
    但是感觉都不对，以后如果看懂了会回来补充的。

3.4 循环感知损失

    循环感知损失如下。具体看这篇博客。
$${Loss}_{CP}\left(I_h\right)=\frac{1}{W_{i,j}{H}_{i,j}}\sum _{x=1}^{W_{i,j}}\sum _{y=1}^{H_{i,j}}{\left({\sigma }_{i,j}\left(I_h\right)-{\sigma }_{i,j}\left(G\left(I_h\right)\right)\right)}^2\text{\hspace{1em}(7)}$$

    本文中使用的是在ImageNet Dataset上预训练好的VGG-16中第2和第5池化层提取出的特征图。

3.5 总损失

    Dehaze-GLCGAN的总损失函数定义如下：
$$\begin{array}{rl}Losstotal=& L_{\text{global}}^{GAN}+L_{\text{local}}^{GAN}+L_{\text{global}}^{\text{Cycle}}+L_{\text{local}}^{\text{Cycle}}\\ +& L_{\text{global}}^{CP}+L_{\text{local}}^{CP}+L_{\text{global}}^{\text{color}}+L_{\text{local}}^{\text{color}}\end{array}\text{\hspace{1em}(8)}$$

4. 读后感

    除了生成器的框架，本文其余部分基本来自其他论文。判别器框架和局部判别器思想来自《Enlightengan: Deep light enhancement without paired supervision》，对抗损失来自《Least squares generative adversarial networks》，循环一致性损失和循环感知损失来自《Cycle-Dehaze: Enhanced CycleGAN for Single Image Dehazing》，颜色损失来自《Dslr-quality photos on mobile devices with deep convolutional networks》。