AdaIN

Arbitrary Style Transfer in Real-time with Adaptive Instance Normalization

Batch Normalization

BN对一个batch的数据进行归一化，使数据符合均值为0，方差为1的分布，解决了Internal Covariate Shift问题，提升模型训练稳定性。

$$x\in R^{N\times C\times H\times W}$$

BN的计算操作如下，计算batch内数据每个通道的均值和方差，然后做归一化。
$${\mu }_c(x)=\frac{1}{NHW}\sum _{n=1}^N\sum _{h=1}^H\sum _{w=1}^W{x}_{nchw}$$
$${\sigma }_c(x)=\sqrt{\frac{1}{NHW}\sum _{n=1}^N\sum _{h=1}^H\sum _{w=1}^W(x_{nchw}-{\mu }_c(x){)}^2+ϵ}$$

$$BN(x)=\gamma (\frac{x-\mu (x)}{\sigma (x)})+\beta$$

Instance Normalization

在最开始的风格迁移研究中都是采用 BN，但后来发现把 BN 替换成 IN (Instance Normalization) 的效果更好。IN 和 BN 的区别在于，IN 是针对每个样本标准化，其公式如下：
$${\mu }_{nc}(x)=\frac{1}{HW}\sum _{h=1}^H\sum _{w=1}^W{x}_{nchw}$$
$${\sigma }_{nc}(x)=\sqrt{\frac{1}{HW}\sum _{h=1}^H\sum _{w=1}^W(x_{nchw}-{\mu }_{nc}(x){)}^2+ϵ}$$

$$IN(x)=\gamma (\frac{x-\mu (x)}{\sigma (x)})+\beta$$

虽然 IN 在风格迁移任务中表现很好，但是仍然不清楚为什么 IN 的效果更好。

Adaptive Instance Normalization

作者提出了 AdaIN (Adaptive Instance Normalization)，这也是论文最重要的内容。通过 AdaIN 可以实现任意风格迁移，例如给定内容图的特征 x 和风格图的特征 y，AdaIN 可以将 y 的风格迁移到 x 上，公式如下：
$$AdaIN(x,y)=\sigma (y)(\frac{x-\mu (x)}{\sigma (x)})+\mu (y)$$