PSGAN 阅读笔记

PSGAN 阅读笔记

Contribution

PSGAN 抛出了两个问题：一是现有的方法只在frontal facial images工作的好，还做不到pose and expression robust；二是现有方法还没实现customizable makeup transfer。然后 PSGAN 提出了MDNet、AMM模块解决这两个问题，是现在唯一实现了partial，shade-controllable， pose/expression robust makeup transfer的模型。

Important Points

1. 提出 MDNet 模块用于从 reference image 中提出 2 个 makeup matrices，感觉就是 StyleGAN 中style的另一种形式，不过这里的 makeup matrices 是spatial-aware 的，可以用来实现后面的 partial 和shade-controllable transfer。
2. 本文的核心结构-Attentive Makeup Morphing(AMM)，用于adaptively morphs the makeup matrices，大体就是通过引入attention机制自适应的修改makeup matrices，从而解决pose and expression robust transfer。
3. 提出了一个新的 Makeup-Wild 数据集，里面的图片有着不同姿势和表情，可以测试 PSGAN 对 pose 和 expression 的 robust，感觉也算是可以衡量模型的泛化能力？

Motivation

Motivation 应该就是上面提到的现有方法的 limitation，如果读过 StyleGAN 和 AdaIN 应该还是比较容易想到 makeup matrices 这里，但后面想到通过attention 机制实现 makeup matrices partial transfer 是个问题，作者这里想的还是很新颖的。

感受

第一遍读完 PSGAN 感觉看起来效果确实很好，但总感觉和 StyleGAN 什么的比较像，没有特别注意；第二遍读的时候已经通过知乎和其他论文多少了解了 attention 机制，感觉作者的 idea 真好，而且实现的效果也特别棒。