Pose Guided Person Image Generation（姿态引导的人体图像生成 文献总结）

Pose Guided Person Image Generation（PG²姿态引导的人体图像生成 文献总结）

该网络可以基于人物的图像和新的姿势合成任意姿势的人物图像。主要包括两个关键阶段：姿势集成和图像细化。

• 姿势集成：将图像和目标姿势输入一个类似U网的网络，以生成具有目标姿势的人的初始但粗糙的图像。
• 图像细化：通过对抗的方式训练一个类似于U网的生成器来细化初始模糊的结果。

1.姿势集成

任务：将条件化人物图像I_A与目标姿势P_B相结合，生成一个粗略的结果I_B^^^,在目标图像I_B中捕捉人体的整体结构。

1.1第一阶段：姿势嵌入

使用姿态估计器获得近似的人体姿势。姿势估计器生成18个关键点的坐标。将姿势P_B编码为18个热图，每个热图在对应的关键点周围以4个像素的半径填充1，其他地方填充0，如下图所示。将I_A和P_B连接起来作为模型的输入。

1.2生成器G1

作为第一阶段的生成器，采用类似U-Net的架构，如下图所示的带跳跃连接的卷积自动编码器。具体的，首先使用几个堆叠的卷积层将I_A和P_B从较小的局部邻域集成到较大的邻域，以便外观信息可以集成并传输到相邻的身体部位。然后，使用一个完全连接的层，以便远距离身体部位之间的信息也可以交换信息。然后，解码器由一组与编码器对称的堆卷积层组成，以生成图像I_B1^^^。

2.第二阶段：图像细化

通过第一阶段的模型已经合成了一个粗略的图像，在使用DCGAN的一个变体作为基础模型，并根据第一阶段的生成结果对其进行条件化。

2.1生成器G2

使用类似于一阶段的U-Net计算差分图，将初始结果I_B1^^^和条件图像I_A作为输入。不同之处在于，将全连接层从网络中移除，这样有利于从输入中保留更多的细节。如上图所示。

2.2鉴别器D

将G2输出I_B2^^^ 与条件图像进行配对，以使鉴别器D识别配对的伪造，即（I_B2^^^，I_A）vs(I_B，I_A)。