2018 LNCS之GAN（image transfer）：Multimodal Unsupervised Image-to-Image Translation

Multimodal Unsupervised Image-to-Image Translation

开源：https://github.com/nvlabs/MUNIT

当前的问题及概述：
无监督图像到图像的转换目前CV中一个重要的问题，在没有pair的前提下，学习源域对应图像在目标域内的条件分布。现有的方法为确定性的一对一映射，因此，它们无法从给定的源域图像生成不同的输出。
为了解决这一限制，本文提出了一个多模态无监督图像到图像转换(MUNIT)框架。

图中(a)每个域Xi中的图像被编码到一个共享的内容空间C和一个域特定风格空间Si。每个编码器都有一个从图中省略的逆译码器。(b)为了将X1(如豹)中的图像翻译为X2(如家猫)，我们将输入的内容代码与目标样式空间中的随机样式代码重新组合。不同的样式代码导致不同的输出。
模型及loss：

首先，通过不同的编码器提取每一个域xi的内容代码ci和风格代码si，不同颜色代表各自特征编码解码部分，虚线代表生成过程。可以看到a为reconstruction过程，采用reconstruction loss：

b为cross translation过程，采用了两个loss（都是仅针对x1→2），一个是判别器GAN loss：

一个是特征 reconstruction loss：

Overall objective：

自编码器框架：

实验：
数据集：Edges ↔ shoes/handbags，Animal image translation，Street scene images，Yosemite summer ↔ winter (HD)
与其他框架比较：


实现效果：

总结：
本文transfer核心: