Region Normalization for Image Inpainting

1. Motivation

  • batch normalization将缺失区域和有效区域同样处理,会导致均值和标准差的偏移。

2. Approach

2.1 Region normalization

将第n个特征图的第c个通道分为多个区域,

计算每个小区域的均值和标准差,

将每个小区域normalization,在组合即可。

  • Basic Region Normalization

Region Normalization for Image Inpainting_第1张图片

  • Learnable Region Normalization

Region Normalization for Image Inpainting_第2张图片

2.2 Network structure and loss functions

Region Normalization for Image Inpainting_第3张图片

整个网络采用了编码解码的结构,在编码结构中插入Basic Region Normalization,在中间和解码部分插入了Learnable Region Normalization。

损失函数包括reconstruction loss, adversarial loss, perceptual loss and style loss

3. Discussion

这篇论文的创新点很明确,就是解决缺失区域和已知区域同时进行normalization均值和标准差不一致的问题,针对性的提出了region normalization解决该问题。

4. References

【1】Yu, Tao, et al. "Region Normalization for Image Inpainting." AAAI. 2020.

你可能感兴趣的:(深度学习,计算机视觉)