OpenPose人体姿态识别是由美国卡耐基梅隆大学(CMU)基于卷积神经网络和监督学习并以Caffe为框架开发的开源库。可以实现人体动作、面部表情、手指运动等姿态估计。适用于单人和多人,具有极好的鲁棒性。是世界上首个基于深度学习的实时多人二维姿态估计应用。
编译好的OpenPose项目: 已上传供大家使用(包括CPU版和GPU版) (C++接口和Python接口)
1、系统环境
操作系统 | CPU | GPU |
---|---|---|
windows 10 | Intel® Core™ i5-8300H | GeForce GTX 1050 Ti |
2、软件环境
python | CUDA | CUDNN | Visual Studio | Cmake |
---|---|---|---|---|
3.7 | v11.6 | 8.4 | 2022 community | 3.24 |
① 官方教程:
CUDA:https://docs.nvidia.com/cuda/cuda-installation-guide-microsoft-windows/index.html
CUDNN:https://docs.nvidia.com/deeplearning/sdk/cudnn-install/index.html#installwindows
② CUDA安装
CUDA toolkit Download:https://developer.nvidia.com/cuda-toolkit-archive
桌面右键打开NVIDIA控制面板,点击帮助-系统信息-组件,查看自己显卡支持的CUDA版本:
在CUDA网站下载对应的版本:
下载安装包:
**安装CUDA:**保持路径默认即可
在CUDA的安装路径这里,保持默认就好,默然安装在C盘(保证C盘有足够空间,防止后期编译找不到CUDA的路径)。
安装完成后:
查看环境变量是否存在:
如果系统变量没有自动配置的话,需要我们手动配置。路径是根据前面是否自己有没有修改来指定。
**最后:**配置好环境变量后,我们检查下CUDA是否安装成功。
nvcc -V
或
nvcc --version
③ CUDNN安装
官网下载:https://developer.nvidia.com/rdp/cudnn-archive
CUDNN需要对应安装的CUDA版本
下载完成后解压全部的文件后:
CUDA和CUDNN安装成功!!!
下载对于的版本:
链接:https://cmake.org/download/
后解压!看到Cmake-gui即可。
方法一: 浏览器打开点击下载
openpose官方链接:https://github.com/CMU-Perceptual-Computing-Lab/openpose(需要科学探索下载速度才快)
方法二: git命令下载
git clone https://github.com/CMU-Perceptual-Computing-Lab/openpose.git
下载所需的模型:
1.运行 …/openpose-master/models/ 中的 getModels.bat
使用迅雷下载链接
face模型:http://posefs1.perception.cs.cmu.edu/OpenPose/models/face/pose_iter_116000.caffemodel
hand模型:http://posefs1.perception.cs.cmu.edu/OpenPose/models/hand/pose_iter_102000.caffemodel
pose/body_25模型:http://posefs1.perception.cs.cmu.edu/OpenPose/models/pose/body_25/pose_iter_584000.caffemodel
pose/coco模型:http://posefs1.perception.cs.cmu.edu/OpenPose/models/pose/coco/pose_iter_440000.caffemodel
pose/mpi模型:http://posefs1.perception.cs.cmu.edu/OpenPose/models/pose/mpi/pose_iter_160000.caffemodel
2. 运行 …/openpose-master/3rdparty/windows 中的 ①getCaffe.bat | ②getCaffe3rdparty.bat | ③getFreeglut.bat | ④getOpenCV.bat | ⑤getSpinnaker.bat
(速度慢,百度网盘分享给大家-替换3rdparty/windows)
方法一: 链接下载
caffe链接: https://github.com/CMU-Perceptual-Computing-Lab/caffe
方法二: git命令下载
git clone https://github.com/CMU-Perceptual-Computing-Lab/caffe.git
将该文件解压放在 …/openpose-master/3rdparty/ 内覆盖caffe
方法一: 链接下载
caffe链接: https://github.com/pybind/pybind11
方法二: git命令下载
git clone https://github.com/pybind/pybind11.git
将该文件解压放在 …/openpose-master/3rdparty/ 内覆盖pybind11
1.在openpose-master目录下创建两个文件夹,分别为build_GPU、build_CPU。
2.在cmake-3.24.0-windows-x86_64/bin中打开cmake-gui
先修改路径,后添加Python接口,用于修改python程序。
然后,点击Configure
添加VS版本
后设置
由于使用GPU版 GPU_MODE = CUDA
接着点击Configure 后点击Generate
生成完成后,点击Open Project在VS2022中打开项目,在Release、x64模式下,生成解决方案,等待完成即可。
出现以下
OpenPose的python包就编译完成了,在build_GPU/python/openpose/Release目录下,pyd文件。
先修改路径,后添加Python接口,用于修改python程序。
然后,点击Configure
添加VS版本
后设置
由于使用CPU版
GPU_MODE = CPU_ONLY
取消 USE_CUDNN
接着点击Configure 后点击Generate
生成完成后,点击Open Project在VS2022中打开项目,在Release、x64模式下,生成解决方案,等待完成即可。
出现以下
到此,OpenPose的python包就编译完成了,在build_CPU/python/openpose/Release目录下,pyd文件。
上面的步骤完了之后,C++的例子已经可以运行了,所有C++的例子都在这里,需要用哪个例子,就把它右键设置为启动项目,然后运行就可以了。
运行结果:
import os
import sys
import cv2
from sys import platform
import argparse
dir_path = os.path.dirname(os.path.realpath(__file__))
os.environ['PATH'] = os.environ['PATH'] + ';' + dir_path + '/bin;'
import pyopenpose as op
print(op)
print("成功引入pyopenpose")
parser = argparse.ArgumentParser()
# 测试图片的路径要改一下,自己修改
parser.add_argument("--image_path",
default="examples/COCO_val2014_000000000623.jpg",
help="Process an image. Read all standard formats (jpg, png, bmp, etc.).")
args = parser.parse_known_args()
# Custom Params (refer to include/openpose/flags.hpp for more parameters)
params = dict()
params["model_folder"] = "models/"
# Add others in path?
for i in range(0, len(args[1])):
curr_item = args[1][i]
if i != len(args[1])-1: next_item = args[1][i+1]
else: next_item = "1"
if "--" in curr_item and "--" in next_item:
key = curr_item.replace('-','')
if key not in params: params[key] = "1"
elif "--" in curr_item and "--" not in next_item:
key = curr_item.replace('-','')
if key not in params: params[key] = next_item
# Construct it from system arguments
# op.init_argv(args[1])
# oppython = op.OpenposePython()
# 修改参数
# 修改分辨率,可以降低对显存的占用 (16的倍数)
params["net_resolution"] = "368x256"
# Starting OpenPose
opWrapper = op.WrapperPython()
opWrapper.configure(params)
opWrapper.start()
# Process Image
datum = op.Datum()
imageToProcess = cv2.imread(args[0].image_path)
datum.cvInputData = imageToProcess
opWrapper.emplaceAndPop(op.VectorDatum([datum]))
# Display Image
print("Body keypoints: \n" + str(datum.poseKeypoints))
cv2.imshow("OpenPose 1.7.0 - Tutorial Python API", datum.cvOutputData)
cv2.waitKey(0)
由于GPU显存不足导致的错误,修改 net_resolution 参数 368x368 (16的倍数)
或者 --number_people_max 减少追踪人数
C++接口,加上–net_resolution 160x160。比如:
OpenPoseDemo.exe --video video.avi --net_resolution 160x160
Python接口,也类似:
python demo.py --net_resolution 160x160
这个net_resolution具体参数值根据自己的需要修改,分辨率越小,画面每秒传输帧数(fps)越大,但准确率越小,相反,则越大。不过必须是16的倍数。不然会出现这个报错信息:Error: Net input resolution must be multiples of 16.
pybind11 does not contain a CMakeLists.txt file
openpose源码文件中缺少pybind11,pybind11是c++和python基本类型转换的工具。
重新下载pybind11,并把其放入将该文件解压放在 …/openpose-master/3rdparty/ 内覆盖pybind11 见上文。
链接:https://github.com/CMU-Perceptual-Computing-Lab/openpose/blob/master/doc/05_faq.md#difference-between-body_25-vs-coco-vs-mpi
大家有问题在评论区交流,我很乐意为大家解答,码字不易,请大家多多支持;如有不对的地方请指正,谢谢!