【虚拟试衣论文笔记】Towards Scalable Unpaired Virtual Try-On via Patch-Routed Spatially-Adaptive GAN

论文地址：https://proceedings.neurips.cc/paper/2021/file/151de84cca69258b17375e2f44239191-Paper.pdf
项目地址：https://github.com/xiezhy6/PASTA-GAN

为了实现一个能够以无监督的方式在源和目标人之间迁移任意服装的可扩展的虚拟试穿方法，本文提出了一种纹理保持的端到端网络，即 **PAtch-routed SpaTially-Adaptive GAN (PASTA-GAN)**来实现非配对虚拟试穿任务。

具体来说，为了使服装的风格和空间信息解耦，PASTE-GAN包含一个创新的Patch routed Disentanglement 模块用于保留服装纹理和形状特征。在源人物关键点的指导下，Patch routed Disentanglement 模块首先将服装解耦为标准化patches，从而消除服装固有的空间信息，然后根据目标人物姿势将标准化patches重建为扭曲的服装，并进一步引入了新颖的Spatially-adaptive Residual Blocks，引导生成器合成更逼真的服装细节。

该模型提供了源码和预训练模型，对于其创建的数据集UPT Dateset（33,254 张半身及半身正面人物图）未提供直接数据集，提供了爬取方式。

PASTE-GAN

给定源人物图像和目标人物图像，可以提取出源服装、源人物姿态和目标人物姿态，上述三个信息输入到Patch routed Disentanglement 模块以生成标准化的服装patches和翘曲的服装Gt。
随后使用修改后的条件StyleGAN2对服装patches编码得到样式代码W，从目标人物头部和姿势中获得人物身份特征fid，二者在风格合成分支中输出粗略的试穿结果图以及目标服装的Mask，随后Mask在纹理合成分支中与Gt一起用于获得扭曲的服装特征fg，最终与前面的信息一起经过Spatially-adaptive Residual Blocks生成最终试穿结果。

Patch-routed Disentanglement Module

为了解原人物图像中服装风格与空间信息耦合在一起的问题，本文将衣服划分为标准化的Patches，以去除衣服的固有空间信息。通过分割和归一化，可以将不同人物图像中的不同服装区域变形为具有相同方向和比例的归一化Patch。在没有空间信息的指导下，网络将被迫学习服装风格特征，在合成图像中重建服装。

具体而言，该模块首先对服装部分进行姿势引导的分割得到8个Patches，这些patches可以是任意形状的四边形，随后进行基于透视变换的Patch标准化，来去除其空间信息，在这一步中，使用8个固定分辨率为64×64的模板Patch作为所有非规范化源Patch的转换目标，然后计算单应矩阵将其变换到标准格式。
此外，标准化的Patch可以利用目标姿势和反单应矩阵进一步转换为目标服装Patch。

Attribute-decoupled Conditional StyleGAN2

独立的条件StyleGAN2不足以生成引人注目的细节，尤其是在存在复杂纹理或徽标的情况下。原因有两个：（1）分割编码器将标准化的Patches投影到一维向量中，导致高频信息丢失。（2）由于服装纹理的多样性，对于基本的合成网络来说，学习特定细节的局部分布是非常困难的。
为了生成更精确的服装细节，作者是在128×128合成块之后有意地将PASTE-GAN分成两个分支，即风格合成分支（SSB）和纹理合成分支（TSB）。带有常规StyleGAN2合成块的SSB旨在生成中间试穿结果，并预测TSB将使用的精确服装Mask Mgt。TSB的目的是开发具有丰富纹理信息的扭曲服装Gt来指导合成，并生成高质量的试穿结果。

Spatially-adaptive Residual Module

在TSB的最终合成块之前还引入了一种新的空间自适应残差模块，将翘曲的服装特征Fg（通过服装编码器传递Mg和Gt获得）嵌入中间特征，然后将其送到新设计的空间自适应残差块，这有助于合成最终试穿结果的纹理。
该模块由一个服装编码器和3个具有特征修复机制的空间自适应剩余块组成，通过利用修复后的翘曲服装特征来调节中间特征。具体地说，在特征修复过程中，我们首先去除掉位于Mg之外的Gt部分（图4中的绿色区域），并用平均特征值来修复Mg内特征映射的未对齐区域。