detectron2及DensePose工程实现上的概括

安装detectron2

1. pip install -U torch==1.5 torchvision==0.6 -f https://download.pytorch.org/whl/cu101/torch_stable.html

IUV到底是DensePose的哪一步的结果啊？

这是输入原图和由DensePose-RCNN回归出的correspondence

这幅图像左边是DensePose coco Dataset的annotation， 右边是body surface的分块和UV parametrization

Body surface的UV parametrization到底是对什么做的，怎么做的？

是对surface part做的，还是对已经映射到3D mesh上的每个图像像素做的，也就是每个part对应一个UV像素还是每个mesh上的像素对应一个UV像素。

最右边图的意思，是对surface进行分块和UV参数化

和DensePose-RCNN回归出的一致性(regressed correspondence)不一样

干了个啥事呢？

Dense human pose estimation aims at mapping all human pixels of an RGB image to the 3D surface of the human body. 把图像的像素mapping到3D human body的3D surface上面。

在他们的主页上，主要有两点贡献，

• 在COCO数据集(50K images)的基础上，通过手工标注manually annotated引入一个DensePose-COCO数据集。这个数据集是：A large-scale ground-truth dataset with image-to-surface correspondences（具有image-to-surface的correspondences的ground-truth).
• 提出了一个网络结构的变种，叫DensePose-RCNN, 是Mask-RCNN的变种。to densely regress part-specific UV coordinates within every human region at multiple frames per second.用来回归针对part的UV坐标(坐标在每个human region内这个应该是指回归出3D mesh的每个part的UV坐标，还是原来图像的$x$, $y$坐标点对点的映射到$u$, $v$坐标)，可以同时每秒中处理多个frames.

DensePose-RCNN的实现借助了facebook的Detectron框架和Caffe2.

理论基础

工程配置过程

• 安装caff2e和DensePose
  • 使用python2
  • 使用caffe2，很多其他的standard Python packages, 还有一个关于数据库的APIthe COCO API
  • 它这里这个Detectron的兼容性在CUDA 8.0 和 cuDNN 6.0.21上验证过.

Detectron: FAIR’s research platform for object detection research, implementing popular algorithms like Mask R-CNN and RetinaNet.

# 我现在的环境里是：conda install pytorch-nightly -c pytorch
conda install pytorch-nightly -c pytorch
这个用的是：Caffe2 with CUDA 9 and CuDNN 7 support: