opencv处理mjpg-streamer画面延迟问题的解决思路

介绍

MJPG-streamer是一个优秀的开源project，它可以通过HTTP的方式访问linux上面的兼容摄像头，从而做到远程视频传输的效果。

 

问题

我利用mjpg通过http获取树莓派ip摄像头的视频流，然后在电脑上面进行处理，但是由于处理时间比较长（0.2s），所以会出现问题：opencv好像会“耿直”地一帧一帧读取网页视频流的内容，这就导致我当前处理的帧可能是已经过去很久的了，而且随着时间的推移，程序可能会崩溃（帧队列存不下了？）。所以要解决的问题就是如何让opencv每次读取的帧都是最新的帧。

 

方法1（不推荐）

在每次读取帧：_, frame = vid.read()前加入capture = cv2.VideoCapture(url)，这样每次都会重新建立连接，但是这句代码建立连接也需要不定的时间，正我的电脑上需要0.1s~0.2s，都快赶上我核心代码的时间了，画面会显得卡顿但是确实都是实时的画面，算得上是很笨的方法。

 

方法2

根据你核心代码处理速度，每次多读取几个帧：

_, frame = vid.read()
_, frame = vid.read()
_, frame = vid.read()
process(frame)

相当于每隔三帧取其一，不过由于我的核心代码运行时间是0.2+-0.1的，所以这个方法其实有点”僵硬“。如果核心代码处理快了，那么会等待下一个帧的到来，如果核心代码处理慢了，可能获取的帧也是之前的帧并不是当前最新的帧。

 

方法3（推荐）

设置一个线程，这个线程会一直读取http视频流里的帧：

capture = cv2.VideoCapture(url)
RTip = True
def read_frame():
    global frame, RTip, capture
    while RTip:
        _, frame = capture.read()

th1 = threading.Thread(target=read_frame, name='Thread_1')
th1.start()

而frame是全局变量，你的核心代码需要处理frame时，就直接拿这个全局变量的值。基本上能够实现实时读取当前帧的目的。而且之后运行代码发现，随着核心代码处理时间的波动，程序可能会隔1-7帧读下一帧，所以方法二确实缺少灵活性。

 

方法N

我看到网上还有很多其他方法，肯定还有别的方法，有思路可以自己尝试尝试。