文献阅读·52-EGSC-IT

简介

  Exemplar guided unsupervised image-to-image translation with semantic consistency.ICLR-2019,Cited-31.
  Open source,official,tf,star-10.

关键字

  Image-to-Image，VAE，GAN，UNIT，AdaIN，无监督学习，机器学习

正文

1. 动机

  在无监督的Image-to-Image任务中，解决多模式映射的基础上进一步保持转换样本的语义。即本文对映射到目标域的样本有两个要求：1）多样性；2）语义一致。对于第一个目的，用目标域的样例来引导风格，方法类似conditional image-to-image。第二语义一致，用来VAE-GAN，意思就是假设了域间具有公共子空间，为了进一步提升效果，在这个基础上再加了个特征遮罩（fetrue mask），用注意力机制完成的。思路如图（原文Table1）所示：

思路.png

2. 模型

  转换过程及生成样本图示如下（原文Fig3），图里面的,分别代表：源域样本，特征遮罩，内容隐变量，风格方差，风格均值，源域重构样本，源域在目标域的转换样本，其余符号类似。

训练过程.png

  样本的转换过程如下图（原文Fig2），其中编码器等用了UNIT的权重共享：

转换过程.png

  关于AdaIN，就是把B域样本的风格从特征图中提取出来赋给A域样本的运算，其使用B域样本的特征图均值和方差统计量代表风格，表达如下：

  关于特征遮罩，使用注意力机制来实现，假设表示阈值，表示激活函数，实现如下：

3. 实验

  实验在自定义的signal-MNIST，multi-MNIST以及街景数据集上实现，signal-MNIST的效果如下（原文Fig4）：

signal-MNIST.png

  multi-MNIST的效果如下（原文Fig6）：

multi-MNIST.png

  街景的效果如下（原文Fig7）：

street view.png

参考资料

[1] Ma, Liqian, et al. "Exemplar guided unsupervised image-to-image translation with semantic consistency." arXiv preprint arXiv:1805.11145 (2018).