Mediapipe人体识别库

一、简介

官网：MediaPipe  |  Google for Developershttps://developers.google.cn/mediapipe

Mediapipe 是2012年起开始公司内部使用，2019年google的一个开源项目，可以提供开源的、跨平台的常用机器学习(machine learning)方案。Mediapipe实际上是一个集成的机器学习视觉算法的工具库，包含了人脸检测、人脸关键点、手势识别、头像分割和姿态识别等各种模型。

• Github开源项目地址： GitHub - google/mediapipe: Cross-platform, customizable ML solutions for live and streaming media.

• 一些模型的web体验地址（用到电脑摄像头）：

   人脸检测：https://code.mediapipe.dev/codepen/face_detection
   人脸关键点：https://code.mediapipe.dev/codepen/face_mesh
   手势识别：https://code.mediapipe.dev/codepen/hands
   姿态识别：https://code.mediapipe.dev/codepen/pose
   自拍头像分割：https://code.mediapipe.dev/codepen/selfie_segmentation

二、安装

2.1安装OpenCV

pip install opencv-contrib-python -i https://pypi.tuna.tsinghua.edu.cn/simple

 2.2安装Mediapipe

pip install mediapipe -i  https://pypi.tuna.tsinghua.edu.cn/simple

2.3原理

将Mediapipe用于行为检测是比较复杂的一件事；如果这样做，那么行为检测的精度就完全取决于Mediapipe关键点的检测精度。于是可以根据下图中人的关节夹角来对人的位姿进行检测。

 先看一下效果图:

 2.4夹角计算

已知两点A（x1，y1），B（x2，y2），则向量AB==（x2-x1，y2-y1）

即向量AB为B点坐标减A点坐标。

假设两个向量a=(x1,y1)，b=(x2,y2)，两个向量之间的夹角为θ，根据向量数量积的运算规则，可以很方便地用坐标值表示夹角的余弦值：

2.5姿势界标

随便取一个点，比如32：

32 x: 0.506013035774231
y: 3.0955116748809814
z: 0.06963550299406052
visibility: 9.286402200814337e-05

• x和y：这些界标坐标分别通过图像的宽度和高度归一化为[0.0，1.0]。

• z：通过将臀部中点处的深度作为原点来表示界标深度，并且z值越小，界标与摄影机越近。z的大小几乎与x的大小相同。

• 可见性：[0.0，1.0]中的值，指示界标在图像中可见的可能性。

三、参数设置

Pose：

def __init__(self,
               static_image_mode=False,#如果设置为false，则解决方案将输入图像视为视频流。它将尝试在第一张图像中检测最突出的人，并在成功检测后进一步定位姿势和其他地标。在随后的图像中，它只是简单地跟踪那些地标，而不会调用另一个检测，直到它失去跟踪，以减少计算和延迟。如果设置为true，则人物检测会运行每个输入图像，非常适合处理一批静态的、可能不相关的图像。默认为false.
               model_complexity=1,#姿势地标模型的复杂度：0,1或2。地标准确性以及推理延迟通常随模型复杂性而增加。默认为1.
               smooth_landmarks=True,#如果设置为true，解决方案过滤器会在不同的输入图像之间设置地标以减少抖动，但如果static_image_mode也设置为，则忽略true。默认为true.
               enable_segmentation=False,#如果设置为true，除了姿势、面部和手部地标之外，该解决方案还会生成分割掩码。默认为false.
               smooth_segmentation=True,#如果设置为true，该解决方案会过滤不同输入图像的分割掩码以减少抖动。如果enable_segmentation为false或static_image_mode为 ，则忽略true。默认为true.
               min_detection_confidence=0.5,#[0.0, 1.0]来自人员检测模型的最小置信值 ( )，用于将检测视为成功。默认为0.5.
               min_tracking_confidence=0.5):#[0.0, 1.0]来自地标跟踪模型的最小置信值（将其设置为更高的值可以提高解决方案的稳健性，但代价是更高的延迟。如果static_image_mode是true，则忽略，其中人员检测仅在每个图像上运行。默认为0.5.

	void cv::putText(
		cv::Mat& img, // 待绘制的图像
		const string& text, // 待绘制的文字
		cv::Point origin, // 文本框的左下角
		int fontFace, // 字体 (如cv::FONT_HERSHEY_PLAIN)
		double fontScale, // 尺寸因子，值越大文字越大
		cv::Scalar color, // 线条的颜色（RGB）
		int thickness = 1, // 线条宽度
		int lineType = 8, // 线型（4邻域或8邻域，默认8邻域）
		bool bottomLeftOrigin = false // true='origin at lower left'
	);

四、向量的夹角

def np_pi(arr):
    """
    三个坐标A B  C ,B为关联
    [A 0,0  0,1
     B 1,0  1,1
     C 2,0  2,1]
    :param arr:
    :return:
    """
    b_a = np.array([arr[0][0] - arr[1][0], arr[0][1] - arr[1][1]])
    # print('向量1：{},{}'.format(b_a[0], b_a[1]))
    b_c = np.array([arr[2][0] - arr[1][0], arr[2][1] - arr[1][1]])
    # print('向量2：{},{}'.format(b_c[0], b_c[0]))
    cos_angle = np.dot(b_a, b_c) / (np.linalg.norm(b_a) * np.linalg.norm(b_c))
    # 弧度
    angle = np.arccos(cos_angle)
    # 角度
    angle = angle * 180 / np.pi
    # print('夹角为：',angle , '度')
    return angle

五、实现

例子：仰卧起坐

import cv2
import mediapipe as mp
import numpy as np


def np_pi(arr):
    """
    三个坐标A B  C ,B为关联
    [A 0,0  0,1
     B 1,0  1,1
     C 2,0  2,1]
    :param arr:
    :return:
    """
    b_a = np.array([arr[0][0] - arr[1][0], arr[0][1] - arr[1][1]])
    # print('向量1：{},{}'.format(b_a[0], b_a[1]))
    b_c = np.array([arr[2][0] - arr[1][0], arr[2][1] - arr[1][1]])
    # print('向量2：{},{}'.format(b_c[0], b_c[0]))
    cos_angle = np.dot(b_a, b_c) / (np.linalg.norm(b_a) * np.linalg.norm(b_c))
    # 弧度
    angle = np.arccos(cos_angle)
    # 角度
    angle = angle * 180 / np.pi
    # print('夹角为：',angle , '度')
    return angle


if __name__ == '__main__':

    # 获取视频对象，0为摄像头，也可以写入视频路径
    capture = cv2.VideoCapture(0)
    mpPose = mp.solutions.pose  # 姿态识别
    pose_mode = mpPose.Pose(min_detection_confidence=0.5, min_tracking_confidence=0.5)  # 模式参数设置
    mpDraw = mp.solutions.drawing_utils  # 绘图
    biaoji = 0
    i = 0
    # mpPose.POSE_CONNECTIONS
    POSE_CONNECTIONS = frozenset([(11, 23), (23, 25), (12, 24), (24, 26)])
    # results.pose_landmarks

    while True:
        # sucess是布尔型，读取帧正确返回True;img是每一帧的图像（BGR存储格式）
        sucess, frame = capture.read()
        # BGR-通常用于图像处理应用程序，顺序为蓝色、绿色和红色。
        # RGB-通常用于图像编辑和显示应用程序，顺序为红色、绿色和蓝色。
        # frame = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)
        #
        frame = cv2.flip(
            frame,
            1  # 1：水平镜像，-1：垂直镜像 =0，垂直翻转图像
        )
        # 输出图像,第一个为窗口名字
        # imshow = cv2.imshow('PC Camera', frame)
        results = pose_mode.process(frame)
        landmarks = results.pose_landmarks
        if results.pose_landmarks:
            # 右 11-23-25
            point23_11 = []
            point23_25 = []
            # 左 12-24-26
            point24_12 = []
            point24_26 = []
            landmarks = []
            z_11 = 0
            z_12 = 0
            point29 = []
            point30 = []
            for id, lm in enumerate(results.pose_landmarks.landmark):
                # print(id, lm)
                h, w, c = frame.shape
                # 转换成像素点坐标
                cx, cy = int(lm.x * w), int(lm.y * h)
                # cv2.circle(frame, (cx, cy), 0, (255, 0, 0), -1)  # 骨连接处
                if id in [23, 25]:
                    point23_25.append([cx, cy])
                elif id in [11]:
                    point23_11.append([cx, cy])
                    z_11 = lm.z
                elif id in [24, 26]:
                    point24_26.append([cx, cy])
                elif id in [12]:
                    point24_12.append([cx, cy])
                    z_12 = lm.z
                elif id in [29]:
                    point29.append([cx, cy])
                elif id in [30]:
                    point30.append([cx, cy])
            mpDraw.draw_landmarks(frame, landmarks, POSE_CONNECTIONS)
            # 判断远近
            # 11-12
            # 左肩 11， 左脚跟 29
            if (z_12 > z_11):
                cv2.line(frame, (point23_25[0][0], point23_25[0][1]), (point23_25[1][0], point23_25[1][1]), (0, 0, 255),
                         5)
                cv2.line(frame, (point23_25[0][0], point23_25[0][1]), (point23_11[0][0], point23_11[0][1]), (0, 0, 255),
                         5)
                array = np.array([[point23_25[1][0], point23_25[1][1]],  # 25
                                  [point23_25[0][0], point23_25[0][1]],  # 23
                                  [point23_11[0][0], point23_11[0][1]]  # 11
                                  ])
                pi_left = np_pi(array)  # 腰-腿的夹角
                np_array = np.array(
                    [[0, 0], [point23_11[0][0], point23_11[0][1]], [point23_25[0][0], point23_25[0][1]]])
                pi_flag_left = np_pi(np_array)
                if (pi_flag_left < 60):
                    if biaoji == 1:
                        i += 1
                        biaoji = 0
                        cv2.putText(frame, "count:{}".format(i), (10, 50), cv2.FONT_HERSHEY_PLAIN, 3, (0, 0, 255), 3)
                else:
                    biaoji = 1
                    cv2.putText(frame, "count:{}".format(i), (10, 450), cv2.FONT_HERSHEY_PLAIN, 3, (0, 0, 255), 3)

           
        # "姿态识别".encode("gbk").decode('UTF-8', errors='ignore')
        # cv2.namedWindow("Pose", cv2.WINDOW_NORMAL)
        cv2.imshow('Pose', frame)
        # 等待5秒显示图像，若过程中按“Esc”（key=27）退出
        c = cv2.waitKey(5) & 0xff
        if c == 27:
            # 释放所有窗口
            cv2.destroyAllWindows()
            break