DensePose文章理解以及项目使用

DensePose文章内容

模型目的： 将人体2D图像转化成一个3D图像
使用数据库： COCO dataset
具体操作：
1. 先手动标注， 在COCO dataset上语义分割，然后均匀取点， 人工标注出每个点在三维模型上的位置，从而得到2D图片的3D坐标的ground truth，命名该数据库为Densepose COCO dataset
2. 输入2D 图像， 使用ground truth 训练模型， 该模型在DenseReg （专注人脸，将2D转化成3D）模型上改变，应该是使用了Mask-RCNN网络
官方提供：训练好的多个模型参数，提供使用模型的测试代码以及在pretrained model 基础上的训练代码，没找到从0到1 的具体训练代码，详情见 densepose.org , 视频精美，densepose 应用到facebook团队的caffe2模型和detectron（用来语义分割）
研究团队： facebook AI reaserach
我的应用以及效果： 应用到RAP dataset上
detectron 语义分割 效果：

densepose 3D转化效果：

操作解释
文章使用了SMPL模型，将人体分成24份，比如图中的人脑分为左脑 右脑 ，手臂分前后
将U V 坐标为3D 模型对应的2D坐标
SMPL: 由6890个顶点v组成，顶点相互连接成三角形小片f（face），体现了顶点间的连线方式，所有人的f（即连线）都是一样的，人体的动作以及高矮胖瘦会影响顶点v， 不影响f。 对表面图案的改变是 texture
由Densepose模型对应到SMPL模型的关键
就是 点在小face里的重心坐标是不变的，即densepose团队提供了densepose模型下的24个块，7800+个点，13000+face， 以及他们的UV坐标，以及（SMPL团队提供的6890个顶点及其坐标）和SMPL模型各个顶掉的对应关系，densepose由于拆开成二维，所以一些点重复出现，点的数目比SMPL多

对比文章 Neural Body Fitting:Unifying Deep Learning and Model Based Human Pose and Shape Estimation

1. use dense keypoint annotation
2. didn’t recover human 3D pose and shape
   对recover 3D 模型的理解
   此文章中值涉及到2D 到3D坐标的转换，而human 3D model 还包括belta（高矮胖瘦）theta（姿态体态）等不同的参数，才能把该人重新构造出来