RK3588——网口实时传输视频

由于通过流媒体服务器传输画面延迟太高的问题，不知道是没有调试到合适的参数还是其他什么问题。诞生了这篇博客。

RK3588板端上接摄像头，采集画面，通过网口实时传输给上位机并显示。

第一代版本

RK3588代码

import cv2
import socket
import struct

# 配置
SERVER_IP = '192.168.137.1'  # 上位机的IP地址
PORT = 5000  # 端口号

# 创建一个socket对象
client_socket = socket.socket(socket.AF_INET, socket.SOCK_DGRAM)

# 打开摄像头
cap = cv2.VideoCapture(23)

if not cap.isOpened():
    print("无法打开摄像头")
    exit()

while True:
    # 读取摄像头帧
    ret, frame = cap.read()
    if not ret:
        print("无法读取帧")
        break
    frame = cv2.resize(frame,(320,240))
    # 对帧进行编码
    encoded, buffer = cv2.imencode('.jpg', frame)

    if not encoded:
        print("编码帧失败")
        break

    # 发送数据
    data = buffer.tobytes()
    print(len(data))
    print(len(struct.pack('L', len(data))))
    print(struct.pack('L', len(data)))
    # 发送数据大小
    client_socket.sendto(struct.pack('L', len(data)), (SERVER_IP, PORT))
    # 发送数据
    client_socket.sendto(data, (SERVER_IP, PORT))

# 释放资源
cap.release()
client_socket.close()

上位机代码（windows系统）

import cv2
import socket
import numpy as np

# 配置
PORT = 5000  # 端口号

# 创建一个socket对象
server_socket = socket.socket(socket.AF_INET, socket.SOCK_DGRAM)
server_socket.bind(('0.0.0.0', PORT))

# 创建窗口并设置为全屏模式
cv2.namedWindow('Video Stream', cv2.WND_PROP_FULLSCREEN)
cv2.setWindowProperty('Video Stream', cv2.WND_PROP_FULLSCREEN, cv2.WINDOW_FULLSCREEN)

while True:
    # 接收数据大小
    data_size, _ = server_socket.recvfrom(8)

    # 接收的视频数据长度
    data_size = int.from_bytes(data_size, byteorder='little')

    # 接收视频数据
    data, _ = server_socket.recvfrom(data_size)

    # 解码
    np_data = np.frombuffer(data, dtype=np.uint8)
    frame = cv2.imdecode(np_data, cv2.IMREAD_COLOR)

    if frame is None:
        print("解码帧失败")
        continue

    # 显示帧
    cv2.imshow('Video Stream', frame)

    if cv2.waitKey(1) & 0xFF == ord('q'):
        break

# 释放资源
server_socket.close()
cv2.destroyAllWindows()

测试视频

遗留问题：视频每帧只能一次传输完毕，且每帧的大小不能过大，不然会报错。

第二代版本

通过分组发送帧图像的方式，即segment_size，优化了帧图像必须要一次传输的问题。

并且把b'\xff\xff'当作一帧画面传输完成的表中，暂时还没发现什么问题。

RK3588代码

import cv2
import socket

# 配置
SERVER_IP = '192.168.137.1'  # 上位机的IP地址
PORT = 5000  # 端口号

# 创建一个socket对象
client_socket = socket.socket(socket.AF_INET, socket.SOCK_DGRAM)

# 打开摄像头
cap = cv2.VideoCapture(23)

if not cap.isOpened():
    print("无法打开摄像头")
    exit()

frame_count = 0
segment_size = 65000 #32678 # 一组数据的大小
while True:
    # 读取摄像头帧
    ret, frame = cap.read()
    if not ret:
        print("无法读取帧")
        break

    # 对帧进行编码
    encoded, buffer = cv2.imencode('.jpg', frame)

    if not encoded:
        print("编码帧失败")
        break

    # 发送数据
    data = buffer.tobytes()
    data_len = len(data) # 一帧图像的数据大小
    print(data_len)
    # 发送数据

    time = data_len // segment_size # 需要发多少组
    left = data_len % segment_size # 剩下多少个
    if time > 0:
        for i in range(time): # 遍历发送所有的组
            start_pos = i*segment_size 
            end_pos = (i+1)*segment_size
            client_socket.sendto(data[start_pos:end_pos], (SERVER_IP, PORT))
    # 发送剩下的，并且加上结束帧标识符
    client_socket.sendto(data[time*segment_size:data_len] + b'\xff\xff', (SERVER_IP, PORT))

    frame_count +=1
# 释放资源
cap.release()
client_socket.close()

上位机代码（windows系统）

import cv2
import socket
import numpy as np

# 配置
PORT = 5000  # 端口号

# 创建一个socket对象
server_socket = socket.socket(socket.AF_INET, socket.SOCK_DGRAM)
server_socket.bind(('0.0.0.0', PORT))
# 一组数据的大小
segment_size = 65000 #32678

while True:
    data_byte = b''
    # 接收视频数据
    data, _ = server_socket.recvfrom(segment_size)
    while (b'\xff\xff' not in data):
        data_byte += data
        data, _ = server_socket.recvfrom(segment_size)
    # 把分组发送的字节相加
    data_byte += data
    #去除最后两个结束帧标识符
    rev_data = data_byte[:-2]

    # 解码
    np_data = np.frombuffer(rev_data, dtype=np.uint8)
    frame = cv2.imdecode(np_data, cv2.IMREAD_COLOR)

    if frame is None:
        print("解码帧失败")
        continue

    # 显示帧
    cv2.imshow('Video Stream', frame)

    if cv2.waitKey(1) & 0xFF == ord('q'):
        break

# 释放资源
server_socket.close()
cv2.destroyAllWindows()

后续优化方向：可以通过多线程的方式去发送每组的数据，这样能进一步增加实时性。