基于姿态识别的手势识别

结合yolov3对手进行目标检测,而后对手进行姿势识别,获得手部骨骼关节点。初步实验效果发现,鲁棒性不强易受遮挡影响,但识别的准确率十分可观.
直接在github上搜索商汤开源的mmpose工具箱就可以实现手势识别算法了。

运行步骤

1.目标检测
2.判断重心点
3.识别手部骨骼关键点
代码链接:
有人看我再放上github = =

所需环境

torch == 1.2.0

pip install -r requirement.txt

运行代码

run predict.py

模型文件存放:

修改绝对路径:

使用视频进行预测

在predict文件里,在如下部分修改:

cam = cv2.VideoCapture('path/vedio.mp4')

修改参数

使要显示的图片为白底图片或者原图

 for n in range(person_num):
        vis_kps = np.zeros((3, joint_num))
        vis_kps[0, :] = output_pose_2d_list[n][:, 0]
        vis_kps[1, :] = output_pose_2d_list[n][:, 1]
        vis_kps[2, :] = 1
        vis_img = vis_keypoints(vis_img, vis_kps, skeleton)  # 修改要显示的图片为原图
      # vis_img = vis_keypoints(white, vis_kps, skeleton)  # 修改要显示的图片为白底图片,

选择保存视频的目录

    vout_1.open('./output.mp4', fourcc, fps, sz, True)

效果图

基于姿态识别的手势识别_第1张图片

你可能感兴趣的:(深度学习,pytorch,python)