3D人脸关键点和重构调研

一、3D 人脸任务

• 3D Face Alignment. 从2D图像到3D 关键点回归(例如68个关键点)
  
• 3D Dense Face Alignment. 从2D图像到3D稠密关键点回归，上万个关键点的人脸模型，例如3DMM模型，将问题转换为对参数的回归.
  
• 3D face reconstruction. 从一张2D图像中重建出人脸的3D点云模型，即除了形状之外，还要包含每个点的纹理信息(RGB值).
  

二、数据集

序号	名称	任务	数量	数据格式	备注
1	300W-LP	关键点/重构	60K	3DMM参数，2D和3D 68个关键点，MATLAB
2	AFLW2000-3D	关键点/重构	2K	3DMM参数，2D和3D 68个关键点，MATLAB	AFLW数据集前2K张
3	Florence	关键点/重构	2K	视频，不同分辨率、视角和放缩	53个受试者面部扫描
4	AFLW-LFPA	关键点	3901+1299	34个关键点	AFLW数据集的扩展
5	NoW Benchmark	重构		3D重构图，包含120K个顶点(.obj),7个关键点,bbox由npy格式给出	100个受试者, iPhone X获取, 3D面部扫描
6	Stirling-HQ / LQ	重构		Di3D camera system获取,Wavefront obj格式，视频	99个受试者

三、算法

序号	算法	年份	编程语言	训练代码	速度
1	3DDFA_V2	2020	pytorch+mac or linux	无	1.35ms/image on CPU+4ms mesh rendering
2	RPN	2018	Tensorflow 1.x + Python 2.7	无	100FPS on GTX1080
3	DeFA	2017	MATLAB	无
4	MNN+OR	2020	Tensorflow + C++	无
5	2DASL	2019	Pytorch + Matlab	无
6	3DDFA	2018	Pytorch + Matlab + C++	是	0.27x128ms on TITAN X
7	DECA	2020	pytorch	无	120fps on RTX5000
8	RingNet	2019	Tensorlow+python2	无
9	Deng et al.	2019	Tensorflow	是	50FPS on 1080

四、效果排序