百度飞桨顶会论文复现营论文阅读——GAN方向

最近参加百度飞桨顶会论文复现营论文阅读，对《First Order Motion Model for Image Animation》比较感兴趣，因此记录下阅读心得及后续的复现过程。

个人水平有限，如有错误，望不吝指正。

后续会根据复现过程增强和修正内容

 

目录

论文任务：

创新点：

应用场景：

模型框架：

动作提取部分

评价指标：

相关阅读：

前置内容：

相关论文：

---

 

论文任务：

给定图片，动作视频，将图片按中作视频中的动作进行动画化（image animation）

创新点：

不需要源图片的先验信息和标签信息

采用image inpainting生成无法通过图像扭曲得到的点

应用场景：

动作迁移、虚拟换衣、表情迁移

 

模型框架：

如下图所示，模型分为动作提取和结果生成两部分

 

动作提取部分

输入原始图像S和驱动帧D，输出动作场和动作遮罩

 

其中，使用了过渡帧R，通过S、D与R建立过渡关联后，最终建立S、D间的关联

 

dense motion field，表示驱动帧D中的每个关键点到原始图像S的映射关系

occlusion mask，表示在生成图像中，相较于驱动帧D哪部分可以通过D扭曲得到，哪部分可以通过inpaint得到

 

 

评价指标：

结果好于X2Face、Monkey-Net

 

 

 

 

相关阅读：

前置内容：

GAN：Generative Adversarial Nets

cGAN: Conditional Generative Adversarial Nets

Pixel2pixel：Image-to-Image Translation with Conditional Adversarial Net-works

相关论文：

Monkey-Net：Animating arbitrary objects via deep motion transfer

X2face:Anetworkforcontrollingfacegeneration using images, audio, and pose codes

 

 

 

感谢百度飞桨与ai studio举办的论文复现营提供的各种资源及技术支持：

https://aistudio.baidu.com/aistudio/education/group/info/1340