使用opencv读取rtsp流的图片帧进行目标检测，并将处理好的图像推到rtsp服务器上

目录

业务场景

解决方案一：使用opencv+Gstreamer-rtsp-server完成（推荐）

        环境配置

        代码

解决方案二：使用ffmpeg+rtsp服务器完成

参考链接如下：

---

业务场景

使用opencv读取rtsp流的图片帧进行目标检测（画框），并将处理好的图像推到rtsp服务器上。东拼西凑，再加上一点点的学习，终于是能基本完成目标了，泪目！！

解决方案一：使用opencv+Gstreamer-rtsp-server完成（推荐）

        环境配置

        使用的是Ubuntu18.04+Python3.6+Gstreamer1.0+opencv4.5，具体安装网上全都是，不多说，直接上代码。

        代码

         代码是直接借鉴的，原网址是https://stackoverflow.com/questions/47396372/write-opencv-frames-into-gstreamer-rtsp-server-pipeline/60580247#60580247%3E（世上还是好人多，拜谢），只是通过自己浅薄的Gstreamer知识加了一点点注释，这段代码给了我很大帮助，最后输出的rtsp地址是rtsp://localhost:8555/test，端口可以自己设置。

        我图像处理任务是对rtsp流视频进行目标检测，代码是在RTX2080super跑的，画完框推上来的视频延迟达到了8秒，还是很离谱的，不知道那部分出了问题，未解决。

import cv2
import gi
gi.require_version('Gst', '1.0')
gi.require_version('GstRtspServer', '1.0')
from gi.repository import Gst, GstRtspServer, GObject, GLib


class SensorFactory(GstRtspServer.RTSPMediaFactory):
    def __init__(self, **properties):
        super(SensorFactory, self).__init__(**properties)
        self.cap = cv2.VideoCapture("rtsp://...")
        # self.cap = cv2.VideoCapture(0)
        self.width = int(self.cap.get(cv2.CAP_PROP_FRAME_WIDTH))
        self.height = int(self.cap.get(cv2.CAP_PROP_FRAME_HEIGHT))
        self.number_frames = 0
        self.fps = int(self.cap.get(cv2.CAP_PROP_FPS)) % 100
        self.duration = 1 / self.fps * Gst.SECOND  # duration of a frame in nanoseconds

        """
            appsrc:使应用程序能够提供缓冲区写入管道; 
            block: 每块推送buffer块的最大字节;
            is-live：当前推送的是否直播数据；
            caps：过滤器
            rtph264pay:把H264 视频数据编码进RTP包
        """

        self.launch_string = 'appsrc name=source is-live=true block=true format=GST_FORMAT_TIME ' \
                             'caps=video/x-raw,format=BGR,width={},height={},framerate={}/1 ' \
                             '! videoconvert ! video/x-raw,format=I420 ' \
                             '! x264enc speed-preset=fast tune=zerolatency threads=4 ' \
                             '! rtph264pay config-interval=1 name=pay0 pt=96'.format(self.width,
                                                                                     self.height,
                                                                                     self.fps)


    def on_need_data(self, src, lenght):
        if self.cap.isOpened():
            ret, frame = self.cap.read()
            if ret:
                #TODO 自己发挥,做一些图像识别,画框等任务,
                data = frame.tostring()
                buf = Gst.Buffer.new_allocate(None, len(data), None)
                buf.fill(0, data)
                buf.duration = self.duration
                timestamp = self.number_frames * self.duration
                buf.pts = buf.dts = int(timestamp)
                buf.offset = timestamp
                self.number_frames += 1
                retval = src.emit('push-buffer', buf)
                print('pushed buffer, frame {}, duration {} ns, durations {} s'.format(self.number_frames,
                                                                                       self.duration,
                                                                                       self.duration / Gst.SECOND))
                if retval != Gst.FlowReturn.OK:
                    print(retval)

    def do_create_element(self, url):
        return Gst.parse_launch(self.launch_string)

    def do_configure(self, rtsp_media):
        self.number_frames = 0
        appsrc = rtsp_media.get_element().get_child_by_name('source')
        appsrc.connect('need-data', self.on_need_data)


class GstServer(GstRtspServer.RTSPServer):
    def __init__(self, **properties):
        super(GstServer, self).__init__(**properties)
        self.set_service("8555")
        self.factory = SensorFactory()
        self.factory.set_shared(True)
        self.get_mount_points().add_factory("/test", self.factory)
        self.attach(None)



if __name__ == "__main__":

    GObject.threads_init()
    Gst.init(None)
    server = GstServer()
    loop = GObject.MainLoop()
    loop.run()

        在代码跑通后，通过VLC进行验证，一阵狂喜，但是又出现了新的问题，我想让让多个客户端访问生成的rtsp流，但当我使用多个VLC访问rtsp地址时，出现了错误，这和预想的实现效果不一样，于是又是一通百度，解决方案有https://blog.csdn.net/Aidam_Bo/article/details/109772430，还有github上的大佬给指点的路https://github.com/mad4ms/python-opencv-gstreamer-examples/issues/2，代码基本上都是C/C++完成的，对于我这种只会一丢丢C的战五渣，直接选择放弃 。（希望哪位大佬有空的时候把上面链接的代码改成python，给渣渣们指条道） 。

        但是事情还得做，搜索无果后，  只能选择最笨的方式，几路访问就写死几路，把上面的Gstserver类修改一下，以两路为例，生成两个rtsp流地址，使用两个VLC分别访问，代码

class GstServer(GstRtspServer.RTSPServer):
    def __init__(self, **properties):
        super(GstServer, self).__init__(**properties)
        self.set_service("8555")
        self.factory = SensorFactory()
        self.factory.set_shared(True)
        self.get_mount_points().add_factory("/test", self.factory)
        ###修改
        self.factory1 = SensorFactory()
        self.factory1.set_shared(True)
        self.get_mount_points().add_factory("/test1", self.factory1)
        ###
        self.attach(None)

        如果读者还有更好的实现方法，请务必在下面评论或者私信我，感激不尽！！！

解决方案二：使用ffmpeg+rtsp服务器完成

        环境配置

        上面的项目虽然实现了基本功能，但是不完美，于是寻求别的解决方案，偶然间看到一篇博客，地址为https://blog.csdn.net/qq_43591363/article/details/107850324，觉得非常有搞头，直接根据上面的链接配置即可，不过在安装ffmpeg时，我没有使用博客的方法，而是直接使用了sudo install ffmpeg命令，实测好使。在安装好x264、ffmpeg、node-rtsp-server环境之后，打开rtsp服务器。

cd node-rtsp-rtmp-server
sudo coffee server.coffee

       代码实现

        运行推流代码，访问rtsp://localhost:80/live/STREAMNAME即可。

import cv2
import gi
import subprocess

class Put_rtsp():
    def __init__(self,cap):
        self.cap = cv2.VideoCapture(cap)
        # self.cap = cv2.VideoCapture("rtsp://192.168.111.131:6666/live")
        # self.cap = cv2.VideoCapture(0)
        self.width = int(self.cap.get(cv2.CAP_PROP_FRAME_WIDTH))
        self.height = int(self.cap.get(cv2.CAP_PROP_FRAME_HEIGHT))
        self.number_frames = 0
        self.fps = int(self.cap.get(cv2.CAP_PROP_FPS)) % 100


    def on_need_data(self):
        if self.cap.isOpened():
            ret, frame = self.cap.read()
            #TODO 图像处理任务           
            return frame



rtsp_o = "rtsp://...."
rtsp_p = 'rtsp://localhost:80/live/STREAMNAME'
# 读取视频并获取属性
cap = cv2.VideoCapture(rtsp_o)
width = int(cap.get(cv2.CAP_PROP_FRAME_WIDTH))
height = int(cap.get(cv2.CAP_PROP_FRAME_HEIGHT))
# print(width,height)
fps = int(cap.get(cv2.CAP_PROP_FPS)) % 100
size = (width,height)
sizeStr = str(size[0]) + 'x' + str(size[1])


command = ['ffmpeg',
           '-y', '-an',
           '-re',
           '-f', 'rawvideo',
           '-pix_fmt', 'bgr24',
           '-s', sizeStr,
           '-r', str(fps),
           '-i', '-',
           '-c:v','libx264',
           '-g', '1',
           '-maxrate:v', '6M',
           '-minrate:v', '2M',
           '-bufsize:v', '4M',
           '-pix_fmt','yuv420p',
           # '-profile:v','high444',
           '-preset','fast',#'ultrafast',# 'superfast',
           '-tune', 'zerolatency',
           # '-b:v', '4M',
           '-f', 'rtsp',
            rtsp_p]


pipe = subprocess.Popen(command
                        , shell=False
                        , stdin=subprocess.PIPE
                        )



while cap.isOpened():
    f = Put_rtsp(rtsp_o)
    frame  = f.on_need_data()
    data = frame.tostring()
    pipe.stdin.write(data)

cap.release()
pipe.terminate()

        项目输出的rtsp流能被多个VLC同时访问，没有处理的原视频直接推效果还可以，但是当我执行画框任务时太卡了，基本上一秒一帧，都成PPT了，还容易掉线，这谁顶得住，太难了！！！如果读者还有更好的实现方法或者改进方案，请务必在下面评论或者私信我，感激不尽！！！

参考链接如下：

        方案一参考链接：https://stackoverflow.com/questions/47396372/write-opencv-frames-into-gstreamer-rtsp-server-pipeline/60580247#60580247%3E

        方案二参考链接：https://blog.csdn.net/qq_43591363/article/details/107850324