树莓派+MediaPipe+PCA9685+自制摄像机云台实现人脸跟踪移动

---

前言

博主闲得无聊，利用某宝几十块钱的机械臂自制了一个摄像头云台，使用了两个MG90S舵机和一块PCA9685驱动的16路舵机扩展板，再通过谷歌的MediaPipe库实现摄像机跟随人脸移动的功能，代码十分简单，快来给你的树莓派添加一个新玩法吧~

---

一、准备材料

①树莓派（这个肯定需要有的）

②摄像头

③PCA9685驱动的16路舵机扩展板（关于这部分的教程可以百度或谷歌一下，建议先调试成功后再开始这个项目，不然容易把舵机烧坏）

④舵机

⑤制作云台的工具（我是用某宝买的四自由度亚克力机械臂拆出来做的）

---

二、代码部分

前言

代码经过测试，Mediapipe项目部署在树莓派上的视频帧率只有十几帧左右，如果真的想流畅运行，就需要借助MJPG-streamer工具传输树莓派上的摄像头视频到PC端，然后在PC端进行脸部识别，这样可以实现几乎0延迟传输并控制云台移动，且PC端运算能力强，可以做更多处理。

具体实现步骤可以进这篇某乎上看看
树莓派利用MJPG-streamer传输摄像头视频

---

1.引入库

Mediapipe

sudo pip3 install mediapipe-rpi3

如果是4版本则使用用命令：

sudo pip3 install mediapipe-rpi4

导入控制舵机的PCA驱动（这部分工作可以网上搜一下“树莓派PCA控制舵机”）

sudo pip install adafruit-pca9685

---

2.客户端（即PC端）

client.py 用于定义客户端

import socket

class connect_Raspberry():
    def __init__(self,host,port):
        print("客户端开启")
        # 套接字接口
        self.mySocket = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
        # 设置ip和端口

        try:
            self.mySocket.connect((host, port))  #连接到服务器
            print("连接到服务器")
        except:  #连接不成功，运行最初的ip
            print('连接RASP不成功')

    def send(self, words):
        # 发送消息
        msg = words
        # 编码发送
        self.mySocket.send(msg.encode("utf-8"))
        # print("成功发送消息")

    def close(self):
        self.mySocket.close()
        print("与树莓派丽连接中断\n")
        exit()

---

main.py 用于接收树莓派视频以及人脸识别，并发送识别位置到树莓派

import cv2
import mediapipe as mp
import numpy as np

import client

#检测脸部
mp_face_detection = mp.solutions.face_detection
mp_drawing = mp.solutions.drawing_utils

#通信传输
myRaspConnection = client.connect_Raspberry('你的树莓派ip', 8888)


if __name__ == "__main__":

    capture = cv2.VideoCapture("http://你的树莓派ip:8080/?action=stream")

    ref, frame = capture.read()
    fps = 0.0

    while(True):

        ref, frame = capture.read()
        h,w,_ = np.shape(frame)
        if not ref:
            break
        image = cv2.cvtColor(frame,cv2.COLOR_BGR2RGB)

        #脸部检测
        with mp_face_detection.FaceDetection(model_selection=0, min_detection_confidence=0.8) as face_detection:
            results = face_detection.process(image)

            if results.detections:
                for detection in results.detections:
                    box=detection.location_data.relative_bounding_box
                    #cx,cy,cw,ch=box
                    cx=box.xmin
                    cy=box.ymin
                    cw=box.width
                    ch=box.height
                    
                    cv2.rectangle(image, (int(cx*w) , int(cy*h)), (int((cx+cw)*w) , int((cy+ch)*h)),(0, 255, 0), 2)
                
                #控制云台
                msg = str(int(cx*w)) + " " + str(int(cy*h)) + " " + str(int((cx+cw)*w)) + " " + str(int((cy+ch)*h))
                myRaspConnection.send(msg)



        frame = cv2.cvtColor(image,cv2.COLOR_RGB2BGR)
        # cv2.rectangle(frame, (int(cx*w) , int(cy*h)), (int((cx+cw)*w) , int((cy+ch)*h)),(0, 255, 0), 2)  
        
        cv2.imshow("video",frame)
        c= cv2.waitKey(1) & 0xff 

        if c==27:
            capture.release()
            break
    print("Video Detection Done!")
    capture.release()
    cv2.destroyAllWindows()

---

3.服务端（即树莓派端）

sever.py 用于定义服务端

import socket

print("服务开启")
mySocket = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
host = "你的树莓派ip"
port = 8888 #自己定义的端口号

mySocket.bind((host, port))
mySocket.listen(10)

main.py 用于接收pc端的人脸位置信息，并控制云台移动

import time
import sever
import Adafruit_PCA9685
 
def set_servo_angle(channel, angle):#输入角度转换成12^精度的数值
    date=int(4096*((angle*11)+500)/20000)#进行四舍五入运算 date=int(4096*((angle*11)+500)/(20000)+0.5)    
    pwm.set_pwm(channel, 0, date)

pwm = Adafruit_PCA9685.PCA9685()
pwm.set_pwm_freq(50)

if __name__ == '__main__':
    print("等待连接")
    client,address = sever.mySocket.accept()
    print("新连接")
    print("IP is %s" % address[0])
    print("port is %d\n" % address[1])
    
    beangle = 100 #每个人的初始角度不同，建议先自己测试好角度
    beangle0 = 60

	#舵机插的通道口
    channel1 = 4 #上下
    channel2 = 8 #左右
	
	#变化幅度（这个越大，舵机动的幅度就越大）
    angleFreq = 1
	#超出屏幕范围（这个调大后，脸部离视频边界检测更灵敏）
 	changeFreq = 20
 	
    #初始化角度
    set_servo_angle(channel1,beangle)
    set_servo_angle(channel2,beangle0)
    
    while True:
        msg = client.recv(1024)
        msg = msg.decode("utf-8")
        if msg != "":
            mess = msg.split(' ')
            
            x0 = int(mess[0])#左上角x
            y0 = int(mess[1])#左上角y
            x1 = int(mess[2])#右下角x
            y1 = int(mess[3])#右下角y

			#超出屏幕外
            if x0 < changeFreq:
                beangle += angleFreq
                if beangle >= 180:
                    beangle = 180
                set_servo_angle(channel1,beangle)
            
            if y0 < changeFreq:
                beangle0 += angleFreq
                if beangle0 >= 180:
                    beangle0 = 180
                set_servo_angle(channel2,beangle0)

            if x1 > 640 - changeFreq: #窗口宽为640
                beangle -= angleFreq
                if beangle <= 30:
                    beangle = 30
                set_servo_angle(channel1,beangle)
            
            if y1 > 480 - changeFreq: #窗口高为480
                beangle0 -= angleFreq
                if beangle0 <= 30:
                    beangle0 = 30
                set_servo_angle(channel2,beangle0)

演示

B站演示