Diverse Image-to-Image Translation via Disentangled Representations（ECCV18）

3 Disentangled Representation for I2I Translation

two visual domains：$\mathcal{X}\in {\mathbb{R}}^{H\times W\times 3}$，$\mathcal{Y}\in {\mathbb{R}}^{H\times W\times 3}$
unpaired samples：$x\in \mathcal{X}$，$y\in \mathcal{Y}$

如Fig.3所示，整个framework包含

• two content encoders $\left\{E_{\mathcal{X}}^c,E_{\mathcal{Y}}^c\right\}$
• two attribute encoders $\left\{E_{\mathcal{X}}^a,E_{\mathcal{Y}}^a\right\}$
• two generators $\left\{G_{\mathcal{X}},G_{\mathcal{Y}}\right\}$
• two discriminators $\left\{D_{\mathcal{X}},D_{\mathcal{Y}}\right\}$
• one content discriminator $D^c$

3.1 Disentangle Content and Attribute Representations

Our approach embeds input images onto a shared content space $\mathcal{C}$, and domain-
speci c attribute spaces, ${\mathcal{A}}_{\mathcal{X}}$ and ${\mathcal{A}}_{\mathcal{Y}}$.

这个思想特别好，因为无论是哪一个domain，content信息是公共的，与domain无关的
但attribute是带有各自domain特性的，是domain相关的

4个Encoder所做的事情
$$\begin{array}{rl}& \left\{z_x^c,z_x^a\right\}=\left\{E_{\mathcal{X}}^c(x),E_{\mathcal{X}}^a(x)\right\}{z}_x^c\in \mathcal{C},z_x^a\in {\mathcal{A}}_{\mathcal{X}}\\ & \left\{z_y^c,z_y^a\right\}=\left\{E_{\mathcal{Y}}^c(y),E_{\mathcal{Y}}^a(y)\right\}{z}_y^c\in \mathcal{C},z_y^a\in {\mathcal{A}}_{\mathcal{Y}}(1)\end{array}$$

对于$\left\{E_{\mathcal{X}}^c,E_{\mathcal{Y}}^c\right\}$，共享最后一层
对于$\left\{G_{\mathcal{X}},G_{\mathcal{Y}}\right\}$，共享第一层

Through weight sharing, we force the content representation to be mapped onto the same space.

Q：不知道作者是否做了对比实验来验证共享的好处

为了进一步增强content空间的公共性，引入一个content discriminator $D^c$，用于辨别$\left\{z_x^c,z_y^c\right\}$，于是有content adversarial loss如下
$$L_{adv}^{content}=(2)$$

注：在content空间添加判别器，最终会使得两个domain的content分布逼近，由此实现domain无关，这一点和自己的ACMMM18论文思想一样的，叙述上也是从information的角度来描述

3.2 Cross-cycle Consistency Loss

利用Encoder，将图像$x,y$分别分解为content成分和attribute成分，然后进行“移花接木”