CVPR2023新作：3D人体网格估计

1. Title: 3D Human Mesh Estimation From Virtual Markers

2. Affiliation: School of Computer Science, Center on Frontiers of Computing Studies, Peking University

3. Authors: Xiaoxuan Ma, Jiajun Su, Chunyu Wang, Wentao Zhu, Yizhou Wang

4. Keywords: 3D human mesh estimation, virtual markers, generative style, motion capture, deep learning

5. Summary:

• (1):本文旨在解决3D人体网格估计的问题。

• (2):过去的方法主要是采用3D骨架作为中间表示来预测人体网格，但提取骨架会导致丢失身体形状信息而影响性能。本文提出了一种名为虚拟标记的中间表示，在机器学习的基础上能够学习大量的运动捕捉数据并模拟密集物理标记的效果。虚拟标记能够精确地从野外图像中检测出64个身体表面的关键点，并通过简单的插值实现具有真实形状的网格重建。方法基于深度学习，能够优于现有方法，并在多个数据集上获得了可观的性能提升。

• (3):本文提出了一种基于虚拟标记的中间表示，根据运动捕捉数据的生成式学习能够模拟物理标记的效果。虚拟标记可以从野外图像中精确检测，从而实现真实形状的网格重建。

• (4):在三个数据集上，本文提出的方法均优于现有方法并获得了可观的性能提升。特别地，在具有多样性身体形态的SURREAL数据集上，本文提出的方法显著超越了现有方法。

6. Methods:

• (1): 本文提出了一种基于虚拟标记的中间表示，称为DensePose-RCNN。DensePose-RCNN的输入是一张人体图像，输出是一个64通道的二维热力图，每个通道对应于一个虚拟标记的位置。这个热力图可以用来生成一个3D人体网格。

• (2): 本文提出的方法主要有两个模块：虚拟标记检测和3D网格重建。虚拟标记检测采用改进的Mask-RCNN，其中包括两个并行的分支：一个检测人体轮廓，另一个检测虚拟标记。3D网格重建采用了一个简单的插值方法，将虚拟标记位置之间的网格点进行插值，并根据虚拟标记之间的相对位置计算网格法线。

• (3): 本文使用机器学习的方法来学习虚拟标记和3D网格的生成模型。在训练模型时，使用了一个包含大量3D运动捕捉数据的数据集，并进行了数据增强和正则化以提高训练效果。本文采用了一种基于解耦卷积的网络结构，在三个数据集上进行了测试并与现有方法进行了比较。

7. Conclusion:

• (1): 本文的意义在于提出了一种新的处理人体网格估计问题的方法，采用虚拟标记的中间表示来重建真实形状的网格，方法创新性强，能够在多样性身体形态方面实现精确重建。

• (2): 创新点：本文采用虚拟标记的中间表示来处理人体网格估计问题，该方法不仅弥补了传统骨架方法的局限性，还能够更准确地重建人体真实形状的网格；性能：本文提出的方法在多个数据集上都优于现有方法，并且在SURREAL数据集上显著超越了现有方法；工作量：本文采用了机器学习方法来学习虚拟标记和3D网格的生成模型，在训练过程中进行了数据增强和正则化，但该方法的实现较为简单，具有一定的易用性和快速性。