解读生成对抗网络（GAN） 之U-GAN-IT

Unsupervised Generative Attentionnal Networks with Adapter Layer-In（U-GAN-IT）

从字面我们可以理解为无监督生成对抗网络和适配层的结合

 

论文实现：

• 论文实现了无监督图像的翻译问题，当两个图像之间两个图像、纹理差别较大时的图像风格（style）转换。
• 论文实现了相同的网络结构和超参数同时需要同时保持shape的图像翻译I（类似风格迁移但是图像本身形状这些原始shape不变），以及需要改变shape的图像翻译任务(个人观点，跨domain)

 

 

                      图1：风格迁移（horse2zebra）

 

                       

 

 

 图2跨domain的图像翻译（cat2dog）

创新：

在于这篇论文新增加了一个新的注意模块(attention)：辅助分类器和一个可以自主学习的规范化函数（自适应的归一化方式）AdaLIN，使得该模型具有更优越性。

• attention：增强判别器的鉴别能力，更好的区分原始图像和生成图像
• 自适应的归一化AdaLIN：增强鲁棒性

得到了在固定网络结构和超参数下保持形状（如horse2zebra）和改变形状（如cat2dog）的图像转换的预期结果。需要针对特定数据集调整网络结构或超参数设置。在这项工作中，我们提出了一种新的无监督图像到图像的翻译方法，它以端到端的方式结合了一个新的注意模块和一个新的可学习的规范化函数。我们的模型根据辅助分类器获得的注意图，通过区分源域和目标域，引导翻译关注更重要的区域而忽略次要区域。这些注意映射被嵌入到生成器和鉴别器中，以集中在语义上重要的区域，从而便于形状转换。而在生成器中的注意图将焦点诱导到专门区分这两个域的区域，而鉴别器中的注意映射通过聚焦目标域中真实图像和假图像的差异来帮助微调。除了注意机制外，我们还发现，对于形状和纹理变化量不同的数据集，归一化函数的选择对转换结果的质量有显著影响。受批处理实例规范化（BIN）（Nam&Kim（2018））的启发，我们提出了自适应层实例规范化（AdaLIN），该方法通过自适应选择实例规范化（IN）和层规范化（LN）之间的比例，在训练过程中从数据集学习参数。AdaLIN函数帮助我们的注意力引导模型灵活地控制形状和纹理的变化量。不需要改变模型的整体形状，也不需要改变模型的整体形状。实验结果表明，与现有的模型相比，本文提出的方法在风格转换和物体变形方面都具有优势。拟议工作的主要贡献可概括如下：

 

                               图3.生成器和判别器工作流程 

 

 

 

 

 

AdaLIN:

 

 

 

 

 

 

层级归一化Layer Norm（LN），更多考虑特征输入通道之间的相关性，自适应实例级归一化（IN）更多考虑的是单个特征通道的内容，可以更好地保存源图像的语义信息，但是对于风格转换不彻底。所以本论文将两者相结合，并且做了很多实验从实验数据我们可以看到这种学习方法，证明实验可用性。

 

Ateention：

图三中我们可以分析出该神经网络的流程，首先经过一个编码器获得图片特征，编码器由上采样和残差block结构组成，然后经过全连接层获得一个预测E然后乘以权重之后经过attention之后的特征图经过解码（dencoder）之后获得最后的图片。

 

数据验证：

 

 

前置内容：

 

GAN的基本思想

纳什均衡，也叫非合作博弈均衡。

 

 

 

 

P_data(x) = P_gen(x) ∀_x

D(x) = 1/2 ∀_x

理解起来就是生成器的生成图片能够让判别器判别不出来为最终目的，通过一个数据样本的潜在分布生成一个新的数据样本，这和VAE（变分自编码器）是很相似的。

 

CycleGAN:

本篇论文应对cycleGAN有一个前置了解，本篇论文的网络结构基于cycleGAN

 

 

 x生成y，y反循环给x，确保F(G(X))≈X。

 

实验效果：

 

 

 

 

 

 

 

分析：

我们复现论文可以从以下几点考虑

1. 该模型基于cycleGAN，所以应该对cycleGAN深入了解

2.关于attention以及AdaLIN自适应的使用

 

git：https://github.com/znxlwm/UGATIT-pytorch

 

参考出处：

李宏毅GAN2018笔记 | GAN背后的数学理论

百度AI Studio论文精读