PaMIR算法跑通笔记

最近跑通了单目三维人体重建算法PaMIR，配环境的时候遇到一点坑，稍微记录一下。
github地址：https://github.com/ZhengZerong/PaMIR
论文：PaMIR: Parametric Model-Conditioned Implicit Representation for Image-based Human Reconstruction

环境：

硬件环境：
AutoDL平台
RTX 3090(24GB)
14 vCPU Intel® Xeon® Gold 6330 CPU @ 2.00GHz （之前用了一个便宜的CPU居然不行，提示CUDA内存不足，换了这个才跑起来）
160GB
软件环境：
驱动版本: 510.60.02
cuda 11.1.105 （注意3090显卡必须要cuda11.1及以上版本）
python 3.6.13
torch 1.7.0
torchvision 0.8.0
cudatoolkit 11.0.221

---

配置过程：

创建conda环境

conda create --name pamir python=3.6

安装requirements.txt中的环境

pip install -r requirements.txt

遇到一些问题，贴两个当时用到的博客：

opendr安装失败：
没有安装numpy先装一下numpy:

pip install numpy

如果已经装了numpy可以看一下这个博客：
opendr安装失败的解决办法（Ubuntu系统）

pyembree安装失败：
不使用anaconda安装pyembree

---

运行Demo:

环境配置好了之后运行demo，又遇到一些问题：

pyglet版本不匹配：

Exception: pyglet 2.0.7 requires Python 3.8 or newer.

更换pyglet版本即可

pip install pyglet==1.5.9

安装ninja

pip install ninja

---

生成数据：

生成数据运行图片渲染环节时遇到问题：

b'0:1(10): error: GLSL 3.30 is not supported. Supported versions are: 1.10, 1.20, 1.30, 1.00 ES, and 3.00 ES\n'

解决方案：

export MESA_GL_VERSION_OVERRIDE=3.3

---

制作数据集：

想利用thuman2.0作为pamir算法的数据集，自己对pamir进行训练。
由于pamir利用了SMPL先验，所以要先通过图片得到图片的SMPL模型，这就需要利用到作者提供的Multiview SMPLify-x了。
使用Multiview SMPLify-x之前还需要先用openpose估计图片的keypoints。
下图左侧是thuman2.0提供的数据格式，右侧是pamir需要的训练数据格式，可以看到多了SMPL的信息，图中也给出了获取的途径。

Multiview SMPLify-x
Multiview SMPLify-x需要注意SMPL模型不要下载错了，一共需要三个模型，其中一个SMPL_NEUTRAL模型我一开始没找对导致报错了，这里给一个正确的SMPL_NEUTRAL模型下载链接：smplify

openpose
openpose的环境配置实在是不太友好，尤其是caffe的编译，建议一定要先多看几篇教程，最后用了半天搞定了。报错真的很多，不过网上都能找到解决方案，还挺不错的。最后利用openpose生成JSON的命令就可以一键生成keypoints文件了。
我主要参考的这个教程：【Ubuntu16.04】GeForce RTX 2080显卡配置Openpose环境教程
当然编译caffe的时候因为遇到的报错很多，所有还参考了很多别的教程。
这里提供一个我最终的openpose环境：
RTX2080
ubuntu 16.04
cuda 10.1
cudnn 7.6.1
python 3.6.13
opencv 4
gcc 7.5.0