CVPR2023新作：考虑3D一致性的人脸关键点检测

1. Title: 3D-aware Facial Landmark Detection via Multi-view Consistent Training on Synthetic (三维感知人脸关键点检测：合成数据下多视角一致训练)

2. Affiliation: Texas A&M University

3. Authors: Libing Zeng, Lele Chen, Wentao Bao, Zhong Li, Yi Xu, Junsong Yuan, Nima K. Kalantari

4. Keywords: 3D, facial landmark detection, multi-view, synthetic data

5. Summary:

• (1):本文研究的背景是精准的人脸关键点检测在计算机视觉和图形应用中具有重要意义，但现有方法在检测2D/3D人脸关键点时缺乏3D一致性，导致准确度低；同时，缺乏野外多视图训练数据也是制约方法性能提升的难题。相较之下，近年来，生成模型和神经渲染等技术打破了3D数据合成的技术瓶颈，因此可以用于解决上述问题。

• (2):以往的方法在人脸关键点检测中存在一些问题，例如难以保证检测结果的3D一致性。与之相比，本文提出的基于合成数据的多视角一致训练方法充分利用了生成模型和神经渲染等技术，并且可以兼容其他基于学习的人脸关键点检测算法，因此具有较广的适用性，方法优势明显，论文动机合理。

• (3):本文提出了一种新的多视角一致的学习策略，构建了一个基于合成数据的人脸关键点检测数据集，并提出了一种3D感知模块，利用此模块可以提高现有基于学习的人脸关键点检测算法的准确性。

• (4):本文在多个真实和合成数据集上证明了所提出方法的有效性，并将其与其他最先进的方法进行了比较。结果表明，所提出方法在精确度和速度方面都优于其他方法，证明其可行性和有效性。

6. Methods:

• (1): 本文提出了一种3D-aware facial landmark detection方法，通过构建一个基于合成数据的人脸关键点检测数据集，在该数据集上训练模型，从而提高现有基于学习的人脸关键点检测算法的准确性。方法的具体步骤如下:

  • 第一步，利用生成模型和神经渲染等技术生成用于训练的合成数据。

  • 第二步，提出一种新的多视角一致的学习策略，通过多个视角的训练来解决现有方法在3D一致性方面的问题。

  • 第三步，为了提高现有基于学习的人脸关键点检测算法的准确性，本文还提出了一种3D感知模块，用于在3D坐标系中进行检测。

• (2): 为了验证所提出方法的有效性，本文在多个真实和合成数据集上进行了实验。在实验过程中，采用了ADAM进行优化，并使用Pytorch实现算法。实验结果表明，所提出方法在精确度和速度方面都优于其他最先进的方法。

• (3): 本文的贡献在于提出了一种基于合成数据的多视角一致训练方法，以及一种3D感知模块，这些方法可以提高现有基于学习的人脸关键点检测算法的准确性，并具有较广的适用性。

7. Conclusion:

• (1): 本文的意义在于提出了一种基于合成数据和多视角一致训练的3D-aware facial landmark detection 方法，该方法对于提高现有基于学习的人脸关键点检测算法的准确性具有重要的意义。同时，本文还提出了一种3D感知模块，扩展了现有算法的适用范围。

• (2): 创新点：本文提出了基于合成数据和多视角一致训练的方法，避免了现有方法在3D一致性方面的缺陷，同时提出了一种3D感知模块，处理获得了更加准确的人脸关键点；

⭐课题/毕设/项目咨询与辅导⭐，请添加博主微信:langu86
或扫描文章底部⬇️二维码