[论文笔记] APDrawingGAN

[论文笔记] APDrawingGAN

论文链接

Conclusion

1. 这篇论文做出了什么成果？
   1. 提出了一个层次化的GAN模型，可以有效地将人脸照片生成高质量、富有表现力的艺术肖像线条画。不仅如此，我们的方法对黑白线条分明的复杂发型绘制有更好的效果。
   2. 为了学习不同面部区域的不同绘制风格，我们的模型将GAN的渲染输出分为不同层次，每个层次被独立的损失项控制。我们提出了一个针对艺术肖像画的损失函数，它包含四个损失项：对抗损失、像素级损失、一种新的距离变换（DT）损失（用于学习艺术肖像画中的线条笔画）和一个局部变换损失（用于引导局部网络保持面部特征）
   3. 构建预训练数据集和正式训练集
2. 相关的工作有哪些？作者的观点/成果和别人的突出在哪里？
   1. Style transfer using neural networks
      1. In addition to aforementioned limitations for APDrawing style transfer, most existing methods require the style imageto be close to the content image.
   2. Non-photorealistic rendering of portraits
      1. However, all these methods use similar texture synthesis approaches that make them unsuitable for the APDrawing style
   3. GAN-based image synthesis
      1. Neither Pix2Pix nor CycleGAN works well for APDrawing styles and often generates blurry or messy results due to the five challenges summarized in Sec. 1 for APDrawings.
   4. 上述滴问题，本文中提出的APDrawing GAN都可以在一定程度上解决
3. 这篇论文是如何论证的？作者使用了哪些论据来支持观点或者成果。
   1. 通过比较现在已有的方法-如 Gatys, CNNMRF, Deep Image Analogy , Pix2Pix , CycleGAN and Headshot Portrait.
   2. 用户体验

论文大体介绍

1. 首先本文提出艺术肖像线条画（Artistic Portrait Drawings，简称APDrawings）和已有工作研究的油画肖像的风格有很大的不同。它主要有5个特点：

   1. 
      得出结论，即使是顶尖的方法也难以产生好的艺术肖像画结果。

2. 提出自己的APDrawing GAN模型，优点总体如下

   1. hierarchical GAN
      1. This allows dedicated drawing strategies to be learned for different facial features
   2. a novel loss
      1. Since artists’ drawings may not have lines perfectly aligned with image features, we develop
         a novel loss to measure similarity between generated and artists’ drawings based on distance transforms, leading to improved strokes in portrait drawing.

3. 讲解模型

   1. 思维导图如下(内容较多，麻烦请放大观看)
   2. 此外还有Hierarchical generator/Hierarchical Discriminator的图解(来源自论文)

4. 如何训练

   1. 预训练
   2. 正式训练

5. Experiments

   1. Ablation study in APDrawingGAN
   2. Comparison with state-of-the-art

参考资料