文献阅读·53-Unsupervised Attention-guided Image-to-Image Translation

简介

  Unsupervised attention-guided image-to-image translation.NIPS-2018,Cited-53.
  Open source,official,tf,star-240.

关键字

  Image-to-Image，注意力机制，CycleGAN，无监督，深度学习，机器学习

正文

1. 动机

  针对目前的image-to-image任务在图像的全局上使用判别器判别会造成转换的图像背景不一致的问题，提出保持源域背景下的image-to-image，效果如图（原文Fig1）左2所示：

效果.png

2. 思路

  思路是使用attention机制把前景和背景分离，仅在前景上进行域的转换，具体的模型如下图所示（原文Fig2）：

模型.png

  这里的是注意力训练网络，是注意力映射，，由此可得转换图：

  上图中的分别代表背景和前景，是转换后的转换回来的重构图。

3. 注意力效果

  对源域的图训练出来的注意力可视化效果如图（原文Fig3，Fig4）所示：

注意力可视化

参考资料

[1] Mejjati, Youssef Alami, et al. "Unsupervised attention-guided image-to-image translation." Advances in Neural Information Processing Systems. 2018.