3D人脸关键点和重构调研

一、3D 人脸任务

  • 3D Face Alignment. 从2D图像到3D 关键点回归(例如68个关键点)
    在这里插入图片描述
  • 3D Dense Face Alignment. 从2D图像到3D稠密关键点回归,上万个关键点的人脸模型,例如3DMM模型,将问题转换为对参数的回归.
    在这里插入图片描述
  • 3D face reconstruction. 从一张2D图像中重建出人脸的3D点云模型,即除了形状之外,还要包含每个点的纹理信息(RGB值).
    在这里插入图片描述

二、数据集

序号 名称 任务 数量 数据格式 备注
1 300W-LP 关键点/重构 60K 3DMM参数,2D和3D 68个关键点,MATLAB
2 AFLW2000-3D 关键点/重构 2K 3DMM参数,2D和3D 68个关键点,MATLAB AFLW数据集前2K张
3 Florence 关键点/重构 2K 视频,不同分辨率、视角和放缩 53个受试者面部扫描
4 AFLW-LFPA 关键点 3901+1299 34个关键点 AFLW数据集的扩展
5 NoW Benchmark 重构 3D重构图,包含120K个顶点(.obj),7个关键点,bbox由npy格式给出 100个受试者, iPhone X获取, 3D面部扫描
6 Stirling-HQ / LQ 重构 Di3D camera system获取,Wavefront obj格式,视频 99个受试者

三、算法

序号 算法 年份 编程语言 训练代码 速度
1 3DDFA_V2 2020 pytorch+mac or linux 1.35ms/image on CPU+4ms mesh rendering
2 RPN 2018 Tensorflow 1.x + Python 2.7 100FPS on GTX1080
3 DeFA 2017 MATLAB
4 MNN+OR 2020 Tensorflow + C++
5 2DASL 2019 Pytorch + Matlab
6 3DDFA 2018 Pytorch + Matlab + C++ 0.27x128ms on TITAN X
7 DECA 2020 pytorch 120fps on RTX5000
8 RingNet 2019 Tensorlow+python2
9 Deng et al. 2019 Tensorflow 50FPS on 1080

四、效果排序

3D人脸关键点和重构调研_第1张图片

你可能感兴趣的:(CV,人脸,数据集汇总,重构,算法,3D人脸,人脸重构,3DMM)