Semantic Image Synthesis with Spatially-Adaptive Normalization（CVPR19）
3. Semantic Image Synthesis
定义 m ∈ L H × W \mathbf{m}\in\mathbb{L}^{H\times W} m∈LH×W为semantic segmentation mask，其中 L \mathbb{L} L是一系列整数用于指定semantic label
Spatially-adaptive denormalization
定义 h i ∈ R N × C i × H i × W i \mathbf{h}^i\in\mathbb{R}^{N\times C^i\times H^i\times W^i} hi∈RN×Ci×Hi×Wi为CNN的第 i i i层的包含 N N N个样本的feature map
本文提出一种新的conditional normalization方法，称为SPatially-Adaptive (DE)normalization（SPADE），如Figure 2所示
在SPADE输出的feature map中，下标为 ( n ∈ N , c ∈ C i , y ∈ H i , x ∈ W i ) \left ( n\in N, c\in C^i, y\in H^i, x\in W^i \right ) (n∈N,c∈Ci,y∈Hi,x∈Wi)的值的计算方式如下
γ c , y , x i ( m ) h n , c , y , x i − μ c i σ c i + β c , y , x i ( m ) ( 1 ) \gamma_{c,y,x}^i(\mathbf{m})\frac{h_{n,c,y,x}^i-\mu_c^i}{\sigma_c^i}+\beta_{c,y,x}^i(\mathbf{m}) \qquad(1) γc,y,xi(m)σcihn,c,y,xi−μci+βc,y,xi(m)(1)
以上公式中， h n , c , y , x i − μ c i σ c i \frac{h_{n,c,y,x}^i-\mu_c^i}{\sigma_c^i} σcihn,c,y,xi−μci首先将输入feature map按照channel维度归一化为零均值单位方差，然后将 m \mathbf{m} m送入simple two-layer convolutional network，来学习用于denormalization的modulation parameter，即 γ c , y , x i ( m ) \gamma_{c,y,x}^i(\mathbf{m}) γc,y,xi(m)和 β c , y , x i ( m ) \beta_{c,y,x}^i(\mathbf{m}) βc,y,xi(m)
SPADE可以看作已有normalization方法的通用的版本
SPADE generator
因为SPADE接收 m \mathbf{m} m作为输入，于是对于生成器的输入层就不需要输入 m \mathbf{m} m了
和已有的class-conditional generator结构类似，生成器的输入只包含一个random vector
Figure 4展示了生成器的结构，其中利用SPADE layer构造了SPADE ResBlock
【总结】
本文的创新点在于提出了一种新的normalization方法，SPADE，具备更加通用的性质，已有的normalization方法都可以看走它的特例，通过SPADE的通用型，可以自适应地学习denormalization的参数，从而生成质量更好的图像