Mediapipe三维实时人体关键点检测与追踪（二）
Mediapipe三维实时人体关键点检测与追踪
- 1.Mediapipe动作计数
- 2.动作计数
-
- 2.1 俯卧撑
- 2.2 引体向上
- 2.3 仰卧起坐
- 2.3 下蹲
1.Mediapipe动作计数
前面上文，我们已经知道了，人体姿态的动作，是通过3个关节点加二个人体支干，组成的关节角度，来判断动作的。
所以识别某一个具体的动作，我们只需要找出人体做出指定动作的最明显的肢体部位，比如说，人体做下蹲的时候，最明显的特征可以识别出这个动作的肢体就是大腿和小腿。
等我们找到对面的肢体部位，将对应的部位，映射到mediapipe的具体关节点，比如说引体向上，对应的肢体就是我们的手臂。
手臂对应到Mediapipe中的索引号是16，14，12（左臂）11，13，15（右臂）。可以看下，做引体向上，角度（16-14-12）的夹角，角度（11-13-15）的夹角会在引体向上过程中发生变化。
具体动作计数步骤：
- 先识别出人体的姿态
- 计算关键肢体位置的角度
- 我们通过记录肢体角度的变化，来对动作进计数
2.动作计数
2.1 俯卧撑
要想做好不同动作识别，最关键就是找到做动作，肢体变化最明显的部位。
比如说俯卧撑，可以看出人的手臂和躯干在变化
对应到mediapipe的部位编号就是16，14，12（左臂），15，13，11（右臂），12，24，26（躯干）
有了动作计数，我们还需要有一个动作完成进度，因为每一个动作都是从初始动作一点点，变化到标准动作位置。对应的肢体角度也是一点点的变化的。
因此我们需要一个动作进度条。这里使用一种函数np.interp()线性插值。
函数解释：
np.interp(angle,(x1,y1),(x2,y2))
- angle：就是对应我们通过mediapipe得到的肢体夹角，角度
- (x1,y1)：可以理解为angle的角度变化的范围
- (x2,y2)：可以理解为通过角度的数值，映射到进度条的数值的范围，类似于m=2n,n的取值范围就是角度的范围，m的取值范围就是进度条的取值范围。
最后返回一个进度条数值。
这样我们就可以通过获取实时的角度，映射到进度条中，得到实时的进度条的值。
我们这里认为手臂的角度小于50为俯卧撑撑下，角度大于125为撑上，躯干角度为一直保持在165到175之间。
# 导入opencv工具包
import cv2
# 导入numpy
import numpy as np
# 导入姿势识别器
from poseutil import PoseDetector
# 打开视频文件
cap = cv2.VideoCapture('videos.mp4')
# 姿势识别器
detector = PoseDetector()
# 方向与个数
dir = 0 # 0为下，1为上
count = 0
# 视频宽度高度
width = int(cap.get(cv2.CAP_PROP_FRAME_WIDTH))
height = int(cap.get(cv2.CAP_PROP_FRAME_HEIGHT))
# 录制视频设置
fourcc = cv2.VideoWriter_fourcc(*'mp4v')
out = cv2.VideoWriter('videos.mp4', fourcc, 30.0, (width, height))
while True:
# 读取摄像头，img为每帧图片
success, img = cap.read()
if success:
h, w, c = img.shape
# 识别姿势
img = detector.find_pose(img, draw=True)
# 获取姿势数据
positions = detector.find_positions(img)
if positions:
# 获取俯卧撑的角度
angle1 = detector.find_angle(img, 12, 24, 26)
angle2 = detector.find_angle(img, 12, 14, 16)
# 进度条长度
bar = np.interp(angle2, (45, 150), (w // 2 - 100, w // 2 + 100))
cv2.rectangle(img, (w // 2 - 100, h - 150), (int(bar), h - 100), (0, 255, 0), cv2.FILLED)
# 角度小于50度认为撑下
if angle2 <= 50 and angle1 >= 165 and angle1 <= 175:
if dir == 0:
count = count + 0.5
dir = 1
# 角度大于125度认为撑起
if angle2 >= 125 and angle1 >= 165 and angle1 <= 175:
if dir == 1:
count = count + 0.5
dir = 0
cv2.putText(img, str(int(count)), (w // 2, h // 2), cv2.FONT_HERSHEY_SIMPLEX, 10, (255, 255, 255), 20, cv2.LINE_AA)
# 打开一个Image窗口显示视频图片
cv2.imshow('Image', img)
# 录制视频
out.write(img)
else:
# 视频结束退出
break
# 如果按下q键，程序退出
key = cv2.waitKey(1)
if key == ord('q'):
break
# 关闭视频保存器
out.release()
# 关闭摄像头
cap.release()
# 关闭程序窗口
cv2.destroyAllWindows()
2.2 引体向上
同样的引体向上也可以做
引体向上对应到mediapipe的部位编号就是16，14，12（左臂），15，13，11（右臂）
import cv2
import numpy as np
from poseutil import PoseDetector
# opencv打开一个视频
cap = cv2.VideoCapture('video.mp4')
# 创建一个PoseDetector类的对象
detector = PoseDetector()
# 方向和完成次数的变量
dir = 0
count = 0
while True:
# 读取视频图片帧
success, img = cap.read()
if success:
# 检测视频图片帧中人体姿势
img = detector.find_pose(img, draw=True)
# 获取人体姿势列表数据
lmslist = detector.find_positions(img)
# 右手肘的角度
right_angle = detector.find_angle(img, 12, 14, 16)
# 以170到20度检测右手肘弯曲的程度
right_per = np.interp(right_angle, (20, 170), (100, 0))
# 进度条高度数据
right_bar = np.interp(right_angle, (20, 170), (200, 400))
# 使用opencv画进度条和写右手肘弯曲的程度
cv2.rectangle(img, (1200, 200), (1220, 400), (0, 255, 0), 3)
cv2.rectangle(img, (1200, int(right_bar)), (1220, 400), (0, 255, 0), cv2.FILLED)
cv2.putText(img, str(int(right_per)) + '%', (1190, 450), cv2.FONT_HERSHEY_SIMPLEX, 1, (0, 255, 255), 2)
# 左手肘的角度
left_angle = detector.find_angle(img, 11, 13, 15)
left_per = np.interp(left_angle, (20, 170), (100, 0))
left_bar = np.interp(left_angle, (20, 170), (200, 400))
cv2.rectangle(img, (500, 200), (520, 400), (0, 255, 0), 3)
cv2.rectangle(img, (500, int(left_bar)), (520, 400), (0, 255, 0), cv2.FILLED)
cv2.putText(img, str(int(left_per)) + '%', (490, 450), cv2.FONT_HERSHEY_SIMPLEX, 1, (0, 255, 255), 2)
# 检测个数，我这里设置的是从20%做到80%，就认为是一个
if (left_per >= 80 and right_per >= 80):
if dir == 0:
count = count + 0.5
dir = 1
if (left_per <= 20 and right_per <= 20):
if dir == 1:
count = count + 0.5
dir = 0
# 在视频上显示完成个数
cv2.putText(img, str(int(count)), (1000, 100), cv2.FONT_HERSHEY_SIMPLEX, 3, (0, 255, 255), 4)
cv2.imshow('Image', img)
else:
break
k = cv2.waitKey(1)
if k == ord('q'):
break
cap.release()
cv2.destroyAllWindows()
2.3 仰卧起坐
仰卧起坐对应到mediapipe的部位编号就是11，23，25（右侧躯干），12，24，26（左侧躯干）
# 导入opencv工具包
import cv2
# 导入numpy
import numpy as np
# 导入姿势识别器
from poseutil import PoseDetector
# 打开视频文件
cap = cv2.VideoCapture('videos.mp4')
# 姿势识别器
detector = PoseDetector()
# 方向与个数
dir = 0 # 0为躺下，1为坐起
count = 0
while True:
# 读取摄像头，img为每帧图片
success, img = cap.read()
if success:
h, w, c = img.shape
# 识别姿势
img = detector.find_pose(img, draw=True)
# 获取姿势数据
positions = detector.find_positions(img)
if positions:
# 获取仰卧起坐的角度
angle = detector.find_angle(img, 11, 23, 25)
# 进度条长度
bar = np.interp(angle, (50, 130), (w // 2 - 100, w // 2 + 100))
cv2.rectangle(img, (w // 2 - 100, h - 150), (int(bar), h - 100), (0, 255, 0), cv2.FILLED)
# 角度小于55度认为坐起
if angle <= 55:
if dir == 0:
count = count + 0.5
dir = 1
# 角度大于120度认为躺下
if angle >= 120:
if dir == 1:
count = count + 0.5
dir = 0
cv2.putText(img, str(int(count)), (w // 2, h // 2), cv2.FONT_HERSHEY_SIMPLEX, 10, (255, 255, 255), 20, cv2.LINE_AA)
# 打开一个Image窗口显示视频图片
cv2.imshow('Image', img)
else:
# 视频结束退出
break
# 如果按下q键，程序退出
key = cv2.waitKey(1)
if key == ord('q'):
break
# 关闭摄像头
cap.release()
# 关闭程序窗口
cv2.destroyAllWindows()
2.3 下蹲
下蹲对应mediapipe的部位编号就是24，26，28（左腿），23，25，27（右腿）
# 导入opencv工具包
import cv2
# 导入numpy
import numpy as np
# 导入姿势识别器
from poseutil import PoseDetector
# 打开视频文件
cap = cv2.VideoCapture('videos.mp4')
# 姿势识别器
detector = PoseDetector()
# 方向与个数
dir = 0 # 0为站立，1为蹲下
count = 0
while True:
# 读取摄像头，img为每帧图片
success, img = cap.read()
if success:
h, w, c = img.shape
# 识别姿势
img = detector.find_pose(img, draw=True)
# 获取姿势数据
positions = detector.find_positions(img)
if positions:
# 获取仰卧起坐的角度
angle = detector.find_angle(img, 24, 26, 28)
# 进度条长度
bar = np.interp(angle, (50, 170), (w // 2 - 100, w // 2 + 100))
cv2.rectangle(img, (w // 2 - 100, h - 150), (int(bar), h - 100), (0, 255, 0), cv2.FILLED)
# 角度小于55度认为下蹲
if angle <= 55:
if dir == 0:
count = count + 0.5
dir = 1
# 角度大于120度认为站立
if angle >= 120:
if dir == 1:
count = count + 0.5
dir = 0
cv2.putText(img, str(int(count)), (w // 2, h // 2), cv2.FONT_HERSHEY_SIMPLEX, 10, (255, 255, 255), 20, cv2.LINE_AA)
# 打开一个Image窗口显示视频图片
cv2.imshow('Image', img)
else:
# 视频结束退出
break
# 如果按下q键，程序退出
key = cv2.waitKey(1)
if key == ord('q'):
break
# 关闭摄像头
cap.release()
# 关闭程序窗口
cv2.destroyAllWindows()