一篇虚拟试穿的论文介绍

论文名叫 Self-Supervised Collision Handling via Generative 3D Garment Models for Virtual Try-On
同时也是Github上的开源项目https://hub.fastgit.org/isantesteban/vto-garment-collisions。

虚拟试穿问题通常有两类方案：
基于物理模型的方法
Physics-Based Simulation (PBS)，可以泛化到任何衣物，生成物理精确的结果[1,2] (本文作者使用的仿真器就是来自论文[1]， ARCSim)，也能衣物和人体的碰撞问题。缺点是计算量大，因而无法适用于实时试穿应用。另外，不可微分的特性使它无法融入现在的机器视觉的pipeline。
基于数据驱动的方法
很容易想到，用深度学习的数据驱动方法作为物理模型法的替代，从大数据库中学习一个函数模拟衣物的物理行为。函数的参数包括目标身材，运动姿态，体型等。学习这样一个非线性函数是神经网络的特长，即训练一个可微的模型出来。
最近有些研究成果看起来效果真实并且鲁棒，然而有个普遍问题：即使训练时在损失函数里加入了避免人体和衣物互相穿透的（body-garment interpenetrations ）惩罚项 [3, 4], 但这样的瑕疵在实际推理阶段仍然无法避免，通常不得不追加一个后处理步骤：通过穷举搜索，把进入到人体的衣服区域推到身体表面外。道理是人体表面和衣物的间隙极其狭小，即使生成的3D mesh已经和ground truth很像了，但还是会出现瑕疵。

这篇文章提出不需要做后处理的去除这种瑕疵的方法。
首先利用了参数化人体模型SMPL的变形能力，设计了新的Diffused Human Model，可以光滑地把蒙皮参数扩散(diffuse) 到人体表面任意3D点。
其次数据驱动方法有个一般假设就是衣服变形要跟着下面的皮肤的变形一起变，把衣服对应到最近的人体T-pose下（或称rest pose）mesh的节点，这样就用标准的LBS（ linear blend skinning ）模型把衣服和人体关节点绑定一起变形。但有时并不奏效。本文提出把模型投影到去除了pose和shape的canonical 空间中表达。

第三个，利用衣服在服装的 canonical空间的表示来学习变形的生成子空间。服装在这个canonical space相对于常数人体参数进行编码。在这个变形子空间学习不管身体mesh、形状和姿势参数如何变化就能避免3D服装不会渗透身体底层。

相关文献：
[1] Rahul Narain, Armin Samii, and James F O’brien. Adaptive Anisotropic Remeshing for Cloth Simulation. ACM Transactions on Graphics (Proc. SIGGRAPH Asia), 31(6):1–10,2012.布料模拟方法中加入动态remesh。


每件衣服定义一个基于平面的mesh，动态地增加或删除节点做remesh

[2] Andrew Nealen, Matthias M¨uller, Richard Keiser, Eddy Boxerman, and Mark Carlson. Physically Based Deformable Models in Computer Graphics. Computer Graphics Forum, 25(4):809–836, 2006
https://matthias-research.github.io/pages/publications/egstar2005.pdf
是一篇关于弹性塑性物理模型变形方法的综述(model based)，包括
• Lagrangian Mesh Based Methods
– Continuum Mechanics Based Methods
– Mass-Spring Systems
• Lagrangian Mesh Free Methods
– Loosely Coupled Particle Systems
– Smoothed Particle Hydrodynamics (SPH)
– Mesh Free Methods for the solution of PDEs
• Reduced Deformation Models and Modal Analysis
• Eulerian and Semi-Lagrangian Methods
– Fluids and Gases
– Melting Objects
另外，也有些中文综述，比如http://www.cjig.cn/html/jig/2021/5/20210502.htm#bliu2013
https://www.doc88.com/p-35729217358614.html?r=1

[3]Erhan Gundogdu, Victor Constantin, Amrollah Seifoddini, Minh Dang, Mathieu Salzmann, and Pascal Fua. GarNet: A two-stream network for fast and accurate 3D cloth draping. In Proc. of IEEE International Conference on Computer Vision (ICCV), 2019.

用网络推理衣物穿在身体上的形变，输入是人体模型和衣物利用人体蒙皮技术(skining)得到的初始变形结果，网络训练时的真值是PBS系统得到的变形结果。使用基于Point net的一个STN(Spatial Transformer Network used in PointNet)提取特征。
[4]Hugo Bertiche, Meysam Madadi, and Sergio Escalera. CLOTH3D: Clothed 3D Humans. In Proc. of European Conference on Computer Vision (ECCV), 2020
数据驱动试穿：
[5].Learning to Dress 3D People in Generative Clothing.(CVPR 2020)
数据库名叫CAPE: Clothed Auto-Person Encoding
https://github.com/qianlim/CAPE
用人体扫描仪(3dMD LLC, https://3dmd.com/)采集了高分辨率的3D人体模型的时间序列，大约每秒钟60FPS帧率采集 80K 3D 帧。把衣服放到SMPL模型上，用一个叫Mesh-VAE-GAN的网络推理出任意shape和pose的衣服变形结果。

备注：
点击下面链接，进入奥比中光开发者社区，了解更多3D视觉技术信息：https://developer.orbbec.com.cn/

或扫描下方二维码,进入奥比中光开发者社区：