2017 NIPS之GAN（image transfer）：Unsupervised Image-to-Image Translation Networks

Unsupervised Image-to-Image Translation Networks
开源：https://github.com/mingyuliutw/unit.
当前的问题及概述：
无监督图像-图像转换的目的是利用图像在单个区域的边缘分布来学习图像在不同区域的联合分布。由于存在无穷多的联合分布集合，可以得到给定的边际分布，如果没有额外的假设，就不能从边际分布中推断出联合分布。
本文提出了一个共享潜在空间的假设，并提出了一种基于coupled GANs的无监督图像-图像转换框架。
模型及loss：

（a）将x1与x2域通过encoder转化为共同的latent space，再通过Generator将latent code转化为各自域图像。（b）为本文的基本框架思路
2.1 VAE（编码器）部分：
本文VAE部分通过权重共享将x1与x2域的图像特征映射到同一特征空间，其中z1：
，z2同理，同时规定先验分布是一个零均值高斯：

通过计算VAE loss惩罚latent分布与先验分布的偏差：

2.2 GAN部分：
首先是自重建部分：

，x2同理
其次是cross生成：

Loss：


总loss:

实验：
生成效果：
.

思路：
本文最大的特点就是通过自重建训练好的生成器去生成跨域图像，还有本文提取特征采用VAE，通过KL散度惩罚latent分布与先验分布的偏差。