[飞桨 PaddlePaddle] 论文阅读笔记之U-GAT-IT

[飞桨 PaddlePaddle] 论文阅读笔记之U-GAT-IT

标题：Unsupervised Generative Attentional Networks with Adaptive Layer-Instance Normalization for Image-to-Image Translation

课程链接：https://aistudio.baidu.com/aistudio/education/group/info/1340

附图一张（截图至百度的Paddle课程）：GAN的发展脉络

正文

图到图转换广泛用于图像修复、超分解析、图像上色、风格迁移

前人工作

根据domains中shape与texture来进行转换，适用于局部纹理的映射。但不适用于larger shape的改变。

解决方法

1. 数据预处理：图像裁剪、图像对齐
2. DRIT：针对数据集对网络结构、超参进行调整

提出方法

1. 两个生成器$G_{s\to t}$和$G_{t\to s}$和两个判别器$D_s$和$D_t$
2. 注意力模块→区分源域和目标域
3. 自适应归一化函数AdaLIN→引导注意力模块灵活地控制shape和texture，而不需要改变模型架构和超参（改进DRIT）
   

模型架构

1. **生成器：**输入图片→下采样→编码器（残差模块）→1x1卷积（relu）→上采样→ReflectionPad2d→卷积→ILN（relu）→ReflectionPad2d→卷积（Tanh）

   1. 残差模块

      1. 自适应平均池化→全连接
      2. 自适应最大池化→全连接

   2. ILN

      1. a作为输入，$\gamma$和$\beta$作为动态计算参数。${\mu }_I$和${\sigma }_I$：通道数及对应标准差；${\mu }_L$和${\sigma }_L$：分层平均值及对应标准差。
      2. 在参数更新时，进行边界限制（0-1范围），就可以使得$\rho$接近于1（归一化）与0（LN）

      

2. 判别器：输入图片→下采样→编码器→ReflectionPad2d→conv→spectral_norm

   1. 下采样（重复N次）
      1. ReflectionPad2d→conv→spectral_norm→Leakyrelu
   2. 编码器（同上）

3. 损失函数：Full objective

   

   1. Adversarial loss：生成图片与目标图片的分布损失

      

   2. Cycle loss：图片周期性相互转换（根据真实图片生成的图片来还原图片）的损失

      

   3. Identity loss：图片平移与未平移的损失

      

   4. CAM loss：源域与目标域的最大差异

      

个人心得

1. 作者从图像转换领域中large shape的缺陷入手，通过增加注意力机制与引入自适应归一化层来解决这个问题。

2. 主要难点：
    
    1. addILN的实现

3. 主要疑惑：
    
    1. ReflectionPad2d与InstanceNorm2d