解决C++ opencv 加入图像分析算法后，播放rtsp流延迟问题

一般的海康摄像头是25fps，opencv在while循环中取流播放的话，完全没有问题。但是，如果加入一些目标检测等等图像操作会增加处理时间，由于硬件水平的限制，可能就达不到25fps了，这样就会堆积一部分帧，导致了延迟和花屏的现象。

解决办法：我们自己定义一个缓冲区（用vector模拟），由两个线程取维护它。read线程每次从缓冲区中取最新的帧，write线程每次取流将帧压入缓冲区。但是缓冲区数据入的速度大于出的速度，这样就需要清一下，清的时候不能全清也不能不清，隔帧抽取清理，保证画面的顺序。上代码 ：

 

#include 
#include 
#include 
#include 
#include 
#include 
#include 
#include 

using namespace cv;
using namespace std;
using namespace std::chrono; // calc fps

std::mutex mtx;
vector frame_buffer;

void frame_write(){
    cout << "this is write" << endl;
    Mat input, blob;
    VideoCapture capture;
    capture.open(0);
    if(capture.isOpened())
    {
        cout << "Capture is opened" << endl;
        for(;;)
        {
            capture >> input;
            if(input.empty())
                continue;
            mtx.lock();
            if(frame_buffer.size() < 100){
                frame_buffer.push_back(input);
                if (frame_buffer.size() > 10){ // 隔帧抽取一半删除
                    auto iter = frame_buffer.begin();
                    for(int inde = 0; inde < frame_buffer.size()/2 ; inde++)
                        frame_buffer.erase(iter++);
                }
            }
            else{
                cout << "thread ==============> after read stop, frame_buffer.size() > 100 , write stop";
                return;
            }
            mtx.unlock();
        }
    } else{
        cout << "open camera failed" << endl;
    }
}
void frame_read(){
    cout << "this is read" << endl;
    Mat frame;
    while(true){
        if (!frame_buffer.empty()){
            frame = frame_buffer.front();
            /// 在这里加上目标检测算法
            /*
             *
             */
            imshow("Thread Sample", frame);
            if(waitKey(10) == 27) // ’q‘ ASCII == 113
                break;
        }
    }
    cout << "thread ==============> read stop" <

20200613重新修改了代码相比上次新增了一个互斥锁，但是还有个隐患，至今没有找到原因

what():  OpenCV(4.2.0) ../modules/core/src/array.cpp:2395: error: (-27:Null pointer) The matrix has NULL data pointer in function 'cvGetMat'

程序运行一段时间后还是会崩溃，经过vector后出现了空指针