VideoPose3D | 环境搭建

主要参考：GitHub / facebookresearch / VideoPose3D

环境要求

Dependencies
Make sure you have the following dependencies installed before proceeding:
Python 3+ distribution
PyTorch >= 0.4.0

必需的是：

• Python 3+ Distribution
• PyTorch ≥ 0.4.0

我的环境是Anaconda3下的python3.7, 无PyTorch，所以接下来下载PyTorch。

下载PyTorch

下载资源： PyTorch官网

直接在START LOCALLY选择对应的情况。我是win7，python3.7，非NVIDIA显示环境

基本步骤

• 启用Anaconda Powershell Prompt 命令窗口
• cd切换到自定路径
• 粘贴官网给出的命令语句

conda install pytorch torchvision cpuonly -c pytorch

• 根据提示输入y，确定下载
  
• 等待下载安装完成

验证安装

参考教程：anaconda+pytorch安装说明

在命令行输入

import torch
import torchvision
print(torch)
print(torchvision)

或

from __future__ import print_function
import torch
x = torch.rand(5, 3)
print(x)

观察输出结果如下，即表示安装成功

问题修复

下载途中可能会卡在PyTorch部分，甚至可能会终止报错。

原因：连接失败。
解决方法：建议重新下载。

数据集设置

（首先要先下载GitHub/…中的整个工程文件呀）

We focus on Human3.6M…In order to proceed, you must also copy CPN detections (for Human3.6M) …

Human3.6M

下载资源（DropBox）

• 将h36m.zip压缩包放至工程文件的 **facebookresearch/VideoPose3D-master/data/**下
• 在当前路径下执行命令语句运行转化代码prepare_data_h36m.py

python prepare_data_h36m.py --from-archive h36m.zip

• 等待片刻，结果如下
  

Human 3.6M 的2D侦测

CPN 检测

CPN（Cascaded Pyramid Network，级联金字塔网络）检测可以有效缓解通过表层特征无法识别“难点”（如躯干点），及在训练过程中没有明确解决的“难点”的检测问题。CPN网络分为两个阶段：GlobalNet和RefineNet。GlobalNet网络是一个特征金字塔网络，该网络用于定位简单的关键点，如眼睛和手等，但是对于遮挡点和不可见的点可能缺乏精确的定位；RefinNet网络该网络通过集合来自GolbalNet网络的多级别特征来明确解决“难点”的检测问题。

配置wget命令

由于我win7电脑内尚不能使用批量下载语句wget，所以需要先安装配置（参考）

安装CPN

同样，在data目录下

wget https://dl.fbaipublicfiles.com/video-pose-3d/data_2d_h36m_cpn_ft_h36m_dbb.npz
wget https://dl.fbaipublicfiles.com/video-pose-3d/data_2d_h36m_detectron_ft_h36m.npz

下载cpn和detectron
（等待时间非常长、、、)

堆叠沙漏检测

Stacked Hourglass detections堆叠沙漏检测是一种对人体的姿态进行识别的新的网络结构，这个网络结构能够捕获并整合图像所有尺度的信息。

下载资源：

1. the pretrained model ( h36m.zip )
2. the fine-tuned poses

• 将下载的两个压缩文件置于**…/data/**下
• 执行以下语句

python prepare_data_2d_h36m_sh.py -pt h36m.zip
python prepare_data_2d_h36m_sh.py -ft stacked_hourglass_fined_tuned_240.tar.gz

结果如下

评估环境

下载 pretrained_h36m_cpn.bin到**…/checkpoint/** 文件夹内

mkdir checkpoint
cd checkpoint
wget https://dl.fbaipublicfiles.com/video-pose-3d/pretrained_h36m_cpn.bin

测试

参数说明

在E:\4A\FP\VideoPose3D-master目录下执行

python run.py -k cpn_ft_h36m_dbb -arc 3,3,3,3,3 -c checkpoint --evaluate pretrained_h36m_cpn.bin

和

python run.py -k cpn_ft_h36m_dbb -arc 3,3,3 -c checkpoint --evaluate pretrained_h36m_cpn.bin --render --viz-subject S11 --viz-action Walking --viz-camera 0 --viz-video "E:\4A\FP\joints_3d_VNect\traffic-control.mp4" --viz-output output.gif --viz-size 3 --viz-downsample 2 --viz-limit 60

测试

问题

待解决

测试报错 无法识别参数3 3 3 3

解决：不使用anaconda powershell prompt，直接使用cmd控制台进行操作可解决

卡在最后评估

**The final evaluation will be carried out after the last training epoch.