看不懂手语怎么办？用Python和Opencv完美复刻出来！这样总看的懂了吧！
在本文中，我们将使用Python来检测人脸和手部标志。我们将使用一个模块
检测所有面部和手部标志的解决方案。此外，我们亦会看看如何取得不同的面部及手上标志，这些标志可应用于不同的电脑视觉应用，例如手语侦测、睡意侦测等
所需模块
-
Mediapipe是一个跨平台的库，由谷歌开发，为计算机视觉任务提供惊人的现成的ML解决方案。
-
OpenCVPython库是一个广泛应用于图像分析、图像处理、检测、识别等领域的计算机视觉库。
安装所需的库
pip install opencv-python mediapipe msvc-runtime
复制代码下面是一种分步骤的人脸和手部地标检测方法。
步骤1：导入所有必需的库，在本例中只需要两个库。
Python 3
# Import Libraries
import cv2
import time
import mediapipe as mp
步骤2：初始化整体模型和绘图功能，以检测和绘制图像上的地标。
Python 3
# Grabbing the Holistic Model from Mediapipe and
# Initializing the Model
mp_holistic = mp.solutions.holistic
holistic_model = mp_holistic.Holistic(
min_detection_confidence = 0.5 ,
min_tracking_confidence = 0.5
)
# Initializing the drawng utils for drawing the facial landmarks on image
mp_drawing = mp.solutions.drawing_utils
让我们研究一下整体模型的参数：
Holistic(
static_image_mode=False,
model_complexity=1,
smooth_landmarks=True,
min_detection_confidence=0.5,
min_tracking_confidence=0.5
)
复制代码- **静态图像模式：**它用于指定输入图像是否必须被视为静态图像或视频流。默认值为false。
- **模型复杂性：**它用于描述姿态地标模型的复杂度：0，1，或2。随着模型复杂度的增加，地标精度和延迟增加。默认值为1。
- **平滑的地标：**该参数通过对不同输入图像的姿态标志进行滤波，减少预测中的抖动。默认值为True。
- **最小检测可信度：**它被用来指定从人-检测模型中检测成功的最小置信度值。可以在[0.01.0]中指定一个值。默认值为0.5。
- **最小跟踪信心：**它被用来指定从地标跟踪模型中检测成功的最小置信度值。可以在[0.01.0]中指定一个值。默认值为0.5。
第三步：从图像中检测脸部和手部的地标。整体模型对图像进行处理，为面部、左手和右手生成地标，并检测
- 使用OpenCV从摄像机中连续捕获帧。
- 将BGR映像转换为RGB映像，并使用初始化的整体模型进行预测。
- 整体模型所做的预测保存在结果变量中，从该变量中，我们可以分别使用Resul.Faces_landmark、Resul.right_Hand_landmark、Resul.左侧_Hand_landmark来访问地标。
- 使用绘图功能在图像上绘制检测到的地标。
- 显示结果图像。
Python 3
# (0) in VideoCapture is used to connect to your compyter's default camera
capture = cv2.VideoCapture( 0 )
# Initializing current time and precious time for calculating the FPS
previousTime = 0
currentTime = 0
while capture.isOpened():
# capture frame by frame
ret, frame = capture.read()
# resizing the frame for better view
frame = cv2.resize(frame, ( 800 , 600 ))
# Converting the from from BGR to RGB
image = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)
# Making predictions using holistic model
# To improve performance, optionally mark the image as not writeable to
# pass by reference.
image.flags.writeable = False
results = holistic_model.process(image)
image.flags.writeable = True
# Converting back the RGB image to BGR
image = cv2.cvtColor(image, cv2.COLOR_RGB2BGR)
# Drawing the Facial Landmarks
mp_drawing.draw_landmarks(
image,
results.face_landmarks,
mp_holistic.FACE_CONNECTIONS,
mp_drawing.DrawingSpec(
color = ( 255 , 0 , 255 ),
thickness = 1 ,
circle_radius = 1
),
mp_drawing.DrawingSpec(
color = ( 0 , 255 , 255 ),
thickness = 1 ,
circle_radius = 1
)
)
# Drawing Right hand Land Marks
mp_drawing.draw_landmarks(
image,
results.right_hand_landmarks,
mp_holistic.HAND_CONNECTIONS
)
# Drawing Left hand Land Marks
mp_drawing.draw_landmarks(
image,
results.left_hand_landmarks,
mp_holistic.HAND_CONNECTIONS
)
# Calculating the FPS
currentTime = time.time()
fps = 1 / (currentTime - previousTime)
previousTime = currentTime
# Displaying FPS on the image
cv2.putText(image, str ( int (fps)) + " FPS" , ( 10 , 70 ), cv2.FONT_HERSHEY_COMPLEX, 1 , ( 0 , 255 , 0 ), 2 )
# Display the resulting image
cv2.imshow( "Facial and Hand Landmarks" , image)
# Enter key 'q' to break the loop
if cv2.waitKey( 5 ) & 0xFF = = ord ( 'q' ):
break
# When all the process is done
# Release the capture and destroy all windows
capture.release()
cv2.destroyAllWindows()
整体模型可产生468个正面地标、21个左侧地标和21个右侧地标.可以通过指定所需地标的索引来访问单个地标。例：结果.左_HAND_landmark.地标[0]。您可以使用以下代码获取所有单个地标的索引：
Python 3
# Code to access landmarks
for landmark in mp_holistic.HandLandmark:
print (landmark, landmark.value)
print (mp_holistic.HandLandmark.WRIST.value)
HandLandmark.WRIST 0
HandLandmark.THUMB_CMC 1
HandLandmark.THUMB_MCP 2
HandLandmark.THUMB_IP 3
HandLandmark.THUMB_TIP 4
HandLandmark.INDEX_FINGER_MCP 5
HandLandmark.INDEX_FINGER_PIP 6
HandLandmark.INDEX_FINGER_DIP 7
HandLandmark.INDEX_FINGER_TIP 8
HandLandmark.MIDDLE_FINGER_MCP 9
HandLandmark.MIDDLE_FINGER_PIP 10
HandLandmark.MIDDLE_FINGER_DIP 11
HandLandmark.MIDDLE_FINGER_TIP 12
HandLandmark.RING_FINGER_MCP 13
HandLandmark.RING_FINGER_PIP 14
HandLandmark.RING_FINGER_DIP 15
HandLandmark.RING_FINGER_TIP 16
HandLandmark.PINKY_MCP 17
HandLandmark.PINKY_PIP 18
HandLandmark.PINKY_DIP 19
HandLandmark.PINKY_TIP 20
0
复制代码
产出
注意读取器！现在不要停止学习。掌握所有重要的机器学习概念
到这里就结束了，你学会了吗？
完整源码点：这里领取