Densepose安装教程--依据Github官方教程成功安装

写在前面

安装Densepose花了我接近一周的时间，首先感谢实验室师姐的大力相助，帮助我解决了好多bug，虽然踩了好多坑，过程很崩溃，但好在最后终于成功搭建了Densepose算法平台，写这篇博客也是为了记录我这一周的心路历程。希望能够帮到要使用Densepose的人。
我安装Densepose是大部分按照Github上的教程，但是Github上也有一些错，我泪目了。至于百度上那种make ops的方法，我试了n次也没成功过，猛男落泪‍♂️。

我的系统环境

1. 操作系统：ubuntu 18.04
2. GPU: NVIDIA Corporation GP102（8块）
3. CUDA: 9.0
4. cudnn：7.3.1
5. Python: 3.6，基于Anaconda 3
   电脑操作系统是ubuntu 16、18或20好像差别不大，但是cuda和cudnn版本最好按着这个来。python环境是创建的虚拟环境，所以首先你得安装anaconda 3。

安装依赖

1. 创建虚拟环境
   第一个坑来了，这里一定是python3.6。因为我们按照百度上说的Densepose只支持python2.7编译源码，所以，当我们整个过程用python2.7创建虚拟环境的时候，到最后编译居然报错，也分析不出来报错是啥原因，无奈，眼看最后一步了，经过思考后，我们改用了python3.6版本，最后编译成功）

conda create -y -n your_env_name python=3.6

3. 进入虚拟环境 （注意：以后所有的操作必须要在虚拟环境进行！！！）

conda activate your_env_name

4. 设置相应的环境变量
   注意 /path/to/anaconda3/ 指的是你安装anaconda的路径，每个人的安装路径都不一样，具体在哪儿自行百度。以下的诸如 /path/to/xxx/ 的写法也同样如此。

export CONDA_ENV_PATH=/path/to/anaconda3/envs/your_env_name
export CONDA_PKGS_PATH=/path/to/anaconda3/envs/your_env_name/lib/python3.6/site-packages

5. 在虚拟环境下安装python包

conda install -y numpy setuptools cffi typing pyyaml=3.13 mkl=2019.1 mkl-include=2019.1
conda install -y cython matplotlib
conda install -y pydot future networkx
conda install -y opencv mock scipy h5py
pip install chumpy

安装COCO API

1. cd到合适的位置
2. 克隆GitHub项目

git clone https://github.com/cocodataset/cocoapi.git

3. 安装

make install

安装PyTorch和Caffe2

1. 安装PyTorch
   Caffe2已经集成在了PyTorch里，以往安装Caffe2超级麻烦，现在方便多了，一行命令就搞定！教程给了两种方法安装PyTorch，这里选择通过conda命令安装。

conda install pytorch torchvision cudatoolkit=9.0 -c pytorch

2. 设置一些环境变量

export TORCH_PATH=CONDA_PKGS_PATH/torch
export CAFFE2_INCLUDE_PATH=TORCH_PATH/include/caffe2
我的是:
export TORCH_PATH=/home/wjh/anaconda3/envs/densepose3/lib/python3.6/site-packages/torch/
export CAFFE2_INCLUDE_PATH=/home/wjh/anaconda3/envs/densepose3/lib/python3.6/site-packages/torch/include/caffe2

3. 安装一个特定版本的包

conda install protobuf=3.6.1

4. 测试你有没有正确安装Caffe2

python -c 'from caffe2.python import core' 2>/dev/null && echo "Success" || echo "Failure"
测试 Caffe2 是否成功安装，成功会显示：Success

python -c 'from caffe2.python import workspace; print(workspace.NumCudaDevices())'
测试 Caffe2 GPU 是否成功安装，成功会显示你显卡的数量，我有8块显卡，所以显示的是8

附上我测试成功的截图

安装GCC编译器

这里是一个大坑，因为现在发行的gcc版本很新了，而Densepose是2018年推出的，如果你用你现在操作系统里的gcc是编译不成功的。百度上的教程会说将gcc降级即可，并使用如下命令

sudo apt install g++-4.9
sudo apt install gcc-4.9

道理是这个道理，然而并没有什么卵用，ubuntu仓库源里已经没有这种老版gcc了，你用这个命令会提示你说没有这个包了，所以唯一的方法是你得下载gcc源码自己手动编译、安装。
坑又来了，到底是哪个版本呢，百度上的教程只说是gcc 4.9，那到底是4.9多少呢，又不说清楚，好在Github的安装教程明确了是gcc 4.9.2（我总结了一个经验，配置算法平台的教程优先考虑在Github上搜索，诸如百度和CSDN上的教程都是你抄我，我抄你，懂得都懂），所以接下来我们手动编译、安装gcc。

下载gcc 4.9.2的源码，这是链接：gcc 4.9.2，下载里面的gcc-4.9.2.tar.gz压缩包文件到合适的位置。

1. 首先cd进入到你下载压缩包的路径，然后解压压缩包并进入解压之后的gcc

tar -zxvf gcc-4.9.2.tar.gz
cd gcc-4.9.2

2. 下载依赖项
   这里可能会断断续续的，但是多等一会儿，会成功的。

./contrib/download_prerequisites

3. 进入到上层目录

cd ..

4. 建立一个输出目录文件，这里取名为gcc-build

mkdir gcc-build

5. 进入输出目录，执行命令，并生成makefile文件

cd gcc-build
../gcc-4.9.2/configure --enable-checking=release --enable-languages=c,c++ --disable-multilib

6. 接下来按理说就是正常的编译了，执行make命令就好了。但是，你真的想多了，源码居然有错！！！ 你编译了很久会突然提示你源代码有错，此时我内心是崩溃的。然后我又百度出错的地方，现把出错记录贴在这个地方，大家老老实实按着这个改源代码。

• （1）在md-unwind-support.h中第61行左右
  将struct ucontext * uc_ = context->cfa
  修改为 ：struct ucontext_t * uc_ = context->cfa

• （2）在sanitizer_stoptheworld_linux_libcdep.cc中第237行
  将struct sigaltstack handler_stack;
  修改为：stack_t handler_stack;

• （3）在sanitizer_linux.h中
  ①把struct sigaltstack; 注释掉（在struct link_map; // Opaque type returned by dlopen(). 的下面一行）
  ②将 uptr internal_sigaltstack(const struct sigaltstack* ss, struct sigaltstack* oss);
  修改为：uptr internal_sigaltstack(const void* ss, void* oss);

• （4）在sanitizer_linux.cc中
  将uptr internal_sigaltstack(const struct sigaltstack *ss, struct sigaltstack *oss)
  修改为：uptr internal_sigaltstack(const void *ss, void *oss)

• （5）在sanitizer_stoptheworld_linux_libcdep.cc中
  将struct sigaltstack handler_stack;
  修改为: stack_t handler_stack;

• （6）在tsan_platform_linux.cc中
  将res_state statp = (__res_state)state;
  修改为：struct __res_state *statp = (struct __res_state*)state;

• （7）在asan_linux.cc中
  在asan_linux.cc中添加头文件 #include 即可

此时，大家可能又会疑惑了，这些文件在哪儿？接下来我就要搬出我的find大法了，比如我要找asan_linux.cc文件，你就在命令行输入

sudo find / -name asan_linux.cc

然后就会弹出这个文件的路径，接着你进去改代码就好了，寻找其他文件的路径也是如此。改完上述错误，就可以进行编译了。接下来才是真正的编译，在命令行输入

make -j8

这里的数字8可以理解为你的电脑有多少个核心，或者是同时有多少个线程编译源码，数字的多少取决于你电脑的配置，但一般都是8的整数倍。你要是不知道就直接输入

make

也可以编译，只是速度没那快，看其他教程说要一晚上，我的几分钟就编译好了。

7. 编译好之后安装

make install

8. 重新创建gcc、g++链接文件

cd /usr/bin
sudo rm -rf gcc
sudo ln -s /opt/gcc-4.9.2/bin/gcc /usr/bin/gcc
sudo rm -rf g++
sudo ln -s /opt/gcc-4.9.2/bin/g++ /usr/bin/g++

9. 接着输入命令查看是否安装成功

gcc -v

我的成功安装截图如下

安装Densepose

1. cd到合适的位置（比如cd到和上面cocoapi同级目录下）
2. 克隆GitHub项目

git clone https://github.com/Johnqczhang/DensePose

3. 执行python代码

cd Densepose
python setup.py develop

4. 替换Densepose文件夹里面的CMakeLists.txt文件，这是修改之后的CMakeLists.txt文件链接
   注意：
   下载好后，你需要手动更改txt文件里的第3~12行的路径，一共有5个，诸如 /path/to/xxx/ 这样的，就需要更改成你自己的路径。
5. （巨坑）将GitHub中的PyTorch的源码中的threadpool和math文件夹复制到你的虚拟环境路径下，但是，当我按照Github官方给的教程里把那两个文件复制到该路径时，我最后编译还是没通过，这个错具体是啥你们不用知道，因为我已经踩过坑了，就懒得把报错贴出来了。这个坑阻碍了我两天的时间，当时都怀疑人生了。出错之后又去找原因，经过几番查找，百度，谷歌，Github，各种博客搜，能找的都找了个遍，最后发现是PyTorch源码更新了，有部分语法和2018年的PyTorch源码不一样，然后又几经周折找到了当年的老版PyTorch源码，最后复制源码里的threadpool和math文件夹复制到虚拟环境的路径下，终于编译通过了。这是老版PyTorch源码链接，提取码是：1234。将其中的 /caffe2/utils/ 里的threadpool和math文件夹复制到以下路径

/path/to/CAFFE2_INCLUDE_PATH/utils/
我的路径是：
/home/wjh/anaconda3/envs/densepose3/lib/python3.6/site-packages/torch/include/caffe2/utils/

6. 编译Densepose（如果你老老实实按照以上步骤执行，编译应该不会出错）

cd build
cmake .. && make

如果出现以下画面，恭喜你！你已经完成了90%的配置步骤了。

7. 测试Densepose是否安装成功

cd ..
python detectron/tests/test_zero_even_op.py

如果出现"OK"字样，说明安装成功。

测试图片

至此，整个Densepose安装流程就结束了，接下来就是测试图片，看测试结果了。但是，我还是太年轻了，以为一行代码就可以测试图片了，哪知道测试代码里也有坑。看来有时官方教程也不大靠谱。

1. 下载权重文件，这是链接：权重文件，提取码：1234。
   因为官方测试代码里给的权重文件的网址是外网，权重文件会下载很久，所以可以直接用我下好的。下载好之后在Densepose的目录下，再创建一个文件夹，命名为weights，将下载好的权重文件复制到weights文件夹下。
2. 在Densepose文件里进入DensePoseData文件，运行以下代码。
   这里又是一个坑，如果你直接运行测试代码，又会报错说你缺少了某两个文件，但是这两个文件在哪儿了，教程也没说，我们经过几番查找，发现了这个脚本，打开这个脚本，发现这个脚本的作用就是下载我们所需的文件，所以运行这个脚本就好了。

cd DensePoseData
sh get_densepose_uv.sh

3. 回到Densepose文件目录下，运行测试代码

cd ..
python tools/infer_simple.py \
        --cfg configs/DensePose_ResNet101_FPN_s1x-e2e.yaml \
        --output-dir DensePoseData/infer_out/ \
        --image-ext jpg \
        --wts weights/DensePose_ResNet101_FPN_s1x-e2e.pkl \
        DensePoseData/demo_data/demo_img.jpg

4. 运行结果保存在了DensePoseData里的infer_out文件夹里，每测试一张图都会生成三张图。
   附上我的测试结果
   
   至此，喜大普奔，完结，撒花。
   再次感谢我师姐的鼎力相助，猛男再次落泪‍♂️。
   此外，我这里还有测试视频的代码，但是涉及到更改源码里面的内容，稍微有点复杂，如果你想测试视频，欢迎私信我。