飞桨PaddlePaddle论文复现营-U-GAT-IT论文解读

飞桨PaddlePaddle论文复现营-U-GAT-IT论文解读

U-GAT-IT

U-GAT-IT: Unsupervised Generative Attentional Networks with Adaptive Layer-Instance Normalization for Image-to-Image Translation
将自适应实例归一化层应用于无监督生成注意网络的图像到图像转换
code（代码） ：
https://github.com/taki0112/UGATIT（tensorflow版本）
https://github.com/znxlwm/UGATIT-pytorch（pytorch版本）

datasets（数据集）：horse2zebra、photo2vangogh、cat2dog、 photo2portrait and selfie2anime

评价指标：：KID

论文贡献

作者认为的本文主要贡献：

1. 提出了一种新的无监督图像到图像的转换方法，它使用了一个新的注意模块和一个新的标准化函数，AdaLIN；
2. 根据获得的 attention map ，帮助模型知道在图像的某处进行集中变化；
3. AdaLIN函数帮助我们的注意力引导模型灵活地控制形状和纹理的变化量，而不需要修改模型结构或超参数。

解决的问题：
原有的风格转换网络（如CycleGAN）在纹理和形状差别较大的数据集上表现较差，作者通过引入自适应实例归一化（AdaLIN）得到了更好的模型。

论文主要内容

实验效果图

网络结构

生成器

1. 对输入端的图像下采样
2. 配合残差块增强图像特征提取
3. 注意力模块
4. 对注意力模块通过AdaLIN引导下残差块
5. 通过上采样得到转换后的图形

判别器则可认为反向的生成器工作流程

论文的创新点在于引入了新的自适应实例归一化（AdaLIN）

其中μI，μL和σI，σL分别为通道，分层和标准差，γ和β是由连接层生成的参数，τ是学习率Δρ表示由优化器确定的参数更新矢量（例如，梯度）。
由上图可知，AdaLIN就是instance normalization和layer normalization的结合。AdaLIN的前提要保证通道之间不相关。因为它仅仅对图像map做归一化。

损失函数
U-GAT-IT的损失函数由四部分构成：

1. GAN的对抗损失
2. 循环一致性损失
3. 身份损失（相同域之间不希望进行转化）
4. CAM损失（生成器中对图像域分类，希望源域和目标域可以尽可能分开，这部分利用交叉熵损失）

网络评估
KID（ Kernel Inception Distance），计算真实图像和生成图像的特征表示之间的最大平方差。
135名参与者被展示了不同方法的翻译结果，包括源图像的方法，并要求他们选择最佳的翻译图像到目标域。

表2显示，除了photo2vangogh外，该方法的得分显著高于其他方法，在人类感知研究中与其他方法相比具有可比性。

本文为百度论文复现营论文阅读心得。
非常感谢百度提供的学习资源，论文复现课程链接为：https://aistudio.baidu.com/aistudio/education/group/info/1340

参考文献：
U-GAT-IT 论文翻译
U-GAT-IT：基于GAN的新型无监督图像转换
U-GAT-IT: Unsupervised Generative Attentional Networks with Adaptive Layer-Instance Normalization