Qt编写视频监控系统78-视频推流到流媒体服务器

一、前言

视频推流作为独立的模块,目前并没有集成到视频监控系统中,目前是可以搭配监控系统一起使用,一般是将添加好的摄像头通道视频流地址打开后,读取视频流重新推到流媒体服务器,然后第三方可以从流媒体服务器拉取视频流地址,相当于订阅分发,可以多路,按照需要处理,谁需要谁就去订阅拉取,这样功能独立开来,而不是将分发功能做在视频监控系统上,大大减轻视频监控系统的压力,至于到底是谁到底拉取多少路,不需要监控系统操心,由流媒体服务器专心做这个事情就可以了,而且现在很多流媒体服务器都用go编写,有个巨大的优势好处就是go天生高并发,往往拉流也是高并发的,这样就不用自己去实现什么高并发的功能。

推拉流一般涉及到三个程序要素:推流程序比如ffmpeg,拉流程序比如ffplay或各种播放器,流媒体服务程序比如mediamtx(原rtsp-simple-server)、srs、EasyDarwin、LiveQing、ZLMediaKit,刚开始做推流开发都会有个疑问,以为只要有推流拉流就可以玩起来,其实都需要有个专门的流媒体服务程序做接收流并分发,其实ffmpeg全家桶以前还自带个ffserver就是流媒体服务程序,后面可能因为不是主业逐渐去掉了这个。个人推荐用mediamtx,go写的,单文件,支持windows、linux、mac三大操作系统,亲测全部好用。如果需要有管理的后台那就推荐LiveQing。

二、效果图

Qt编写视频监控系统78-视频推流到流媒体服务器_第1张图片
Qt编写视频监控系统78-视频推流到流媒体服务器_第2张图片

三、体验地址

  1. 国内站点:https://gitee.com/feiyangqingyun
  2. 国际站点:https://github.com/feiyangqingyun
  3. 个人作品:https://blog.csdn.net/feiyangqingyun/article/details/97565652
  4. 体验地址:https://pan.baidu.com/s/1d7TH_GEYl5nOecuNlWJJ7g 提取码:01jf 文件名:bin_video_system。

四、相关代码

#include "ffmpegsavesimple.h"

//用法示例(保存文件/推流)
#if 0
FFmpegSaveSimple *f = new FFmpegSaveSimple(this);
f->setUrl("f:/mp4/1.mp4", "f:/1.mp4");
f->setUrl("f:/mp4/1.mp4", "rtmp://127.0.0.1:6908/stream");
f->start();
#endif

FFmpegSaveSimple::FFmpegSaveSimple(QObject *parent) : QThread(parent)
{
    stopped = false;
    audioIndex = -1;
    videoIndex = -1;

    formatCtxIn = NULL;
    formatCtxOut = NULL;

    //初始化ffmpeg的库
    FFmpegHelper::initLib();
}

FFmpegSaveSimple::~FFmpegSaveSimple()
{
    this->stop();
    this->close();
}

void FFmpegSaveSimple::run()
{
    if (!this->open()) {
        this->close();
        return;
    }

    AVPacket packet;
    int ret;
    int videoCount = 0;
    qint64 startTime = av_gettime();

    while (!stopped) {
        //读取一帧
        ret = av_read_frame(formatCtxIn, &packet);
        int index = packet.stream_index;
        if (ret < 0) {
            if (ret == AVERROR_EOF || ret == AVERROR_EXIT) {
                debug(ret, "文件结束");
                break;
            } else {
                debug(ret, "读取出错");
                continue;
            }
        }

        //取出输入输出流的时间基
        AVStream *streamIn = formatCtxIn->streams[index];
        AVStream *streamOut = formatCtxOut->streams[index];
        AVRational timeBaseIn = streamIn->time_base;
        AVRational timeBaseOut = streamOut->time_base;

        if (index == videoIndex) {
            videoCount++;
        }

        //纠正有些文件比如h264格式的没有pts
        if (packet.pts == AV_NOPTS_VALUE) {
            double fps = av_q2d(formatCtxIn->streams[videoIndex]->r_frame_rate);
            double duration = (double)AV_TIME_BASE / fps;
            packet.pts = (double)(videoCount * duration) / (double)(av_q2d(timeBaseIn) * AV_TIME_BASE);
            packet.dts = packet.pts;
            packet.duration = (double)duration / (double)(av_q2d(timeBaseIn) * AV_TIME_BASE);
        }

        //延时(防止数据太快给缓存造成太大压力)
        if (index == videoIndex) {
            AVRational timeBase = {1, AV_TIME_BASE};
            int64_t ptsTime = av_rescale_q(packet.dts, timeBaseIn, timeBase);
            int64_t nowTime = av_gettime() - startTime;
            if (ptsTime > nowTime) {
                av_usleep(ptsTime - nowTime);
            }
        }

        //重新调整时间基准
        FFmpegHelper::rescalePacket(&packet, timeBaseIn, timeBaseOut);

        qDebug() << TIMEMS << "发送一帧" << videoCount << packet.flags << packet.pts << packet.dts;
        //ret = av_write_frame(formatCtxOut, &packet);
        ret = av_interleaved_write_frame(formatCtxOut, &packet);
        if (ret < 0) {
            debug(ret, "写数据包");
            break;
        }

        av_packet_unref(&packet);
    }

    //写文件尾
    av_write_trailer(formatCtxOut);
    this->close();
}

bool FFmpegSaveSimple::open()
{
    if (urlIn.isEmpty() || urlOut.isEmpty()) {
        return false;
    }

    int ret = -1;
    if ((ret = avformat_open_input(&formatCtxIn, urlIn.toUtf8().constData(), 0, NULL)) < 0) {
        debug(ret, "打开输入");
        return false;
    }
    if ((ret = avformat_find_stream_info(formatCtxIn, 0)) < 0) {
        debug(ret, "无流信息");
        return false;
    }

    videoIndex = av_find_best_stream(formatCtxIn, AVMEDIA_TYPE_VIDEO, -1, -1, NULL, 0);
    if (videoIndex < 0) {
        debug(ret, "无视频流");
        return false;
    }

    //既可以是保存到文件也可以是推流(对应格式要区分)
    const char *format = "mp4";
    if (urlOut.startsWith("rtmp")) {
        format = "flv";
    } else if (urlOut.startsWith("rtsp")) {
        format = "rtsp";
    }

    QByteArray urlData = urlOut.toUtf8();
    const char *url = urlData.constData();
    ret = avformat_alloc_output_context2(&formatCtxOut, NULL, format, url);
    if (!formatCtxOut) {
        debug(ret, "创建输出");
        return false;
    }

    //根据输入流创建输出流
    for (int i = 0; i < formatCtxIn->nb_streams; i++) {
        AVStream *streamIn = formatCtxIn->streams[i];
        AVStream *streamOut = avformat_new_stream(formatCtxOut, NULL);
        if (!streamOut) {
            return false;
        }

        //复制各种参数
        ret = FFmpegHelper::copyContext(streamIn, streamOut);
        if (ret < 0) {
            debug(ret, "复制参数");
            return false;
        }

        if (formatCtxOut->oformat->flags & AVFMT_GLOBALHEADER) {
            //streamOut->codec->flags |= AV_CODEC_FLAG_GLOBAL_HEADER;
        }
    }

    //打开输出
    if (!(formatCtxOut->oformat->flags & AVFMT_NOFILE)) {
        ret = avio_open(&formatCtxOut->pb, url, AVIO_FLAG_WRITE);
        if (ret < 0) {
            debug(ret, "打开输出");
            return false;
        }
    }

    AVDictionary *options = NULL;
#if 0
    //指定加密秘钥
    QString secretKey = "test";
    QByteArray cryptoKey = QCryptographicHash::hash(secretKey.toUtf8(), QCryptographicHash::Md5).toHex();
    av_dict_set(&options, "encryption_scheme", "cenc-aes-ctr", 0);
    av_dict_set(&options, "encryption_key", cryptoKey.constData(), 0);
    av_dict_set(&options, "encryption_kid", cryptoKey.constData(), 0);
#endif

    //写文件头
    ret = avformat_write_header(formatCtxOut, &options);
    if (ret < 0) {
        debug(ret, "写文件头");
        return false;
    }

    debug(0, QString("打开成功: %1").arg(urlIn));
    if (format != "mp4") {
        debug(0, QString("开始推流: %1").arg(urlOut));
    } else {
        debug(0, QString("开始录像: %1").arg(urlOut));
    }

    return true;
}

void FFmpegSaveSimple::close()
{
    stopped = false;
    if (formatCtxOut) {
        debug(0, QString("关闭成功: %1").arg(urlIn));
    }

    if (formatCtxIn) {
        avformat_close_input(&formatCtxIn);
        formatCtxIn = NULL;
    }

    if (formatCtxOut && !(formatCtxOut->oformat->flags & AVFMT_NOFILE)) {
        avio_close(formatCtxOut->pb);
    }

    if (formatCtxOut) {
        avformat_free_context(formatCtxOut);
        formatCtxOut = NULL;
    }
}

void FFmpegSaveSimple::debug(int ret, const QString &msg)
{
    QString text = (ret < 0 ? QString("%1 错误: %2").arg(msg).arg(FFmpegHelper::getError(ret)) : msg);
    qDebug() << TIMEMS << text;
}

void FFmpegSaveSimple::setUrl(const QString &urlIn, const QString &urlOut)
{
    this->urlIn = urlIn;
    this->urlOut = urlOut;
}

void FFmpegSaveSimple::stop()
{
    this->stopped = true;
    this->wait();
}

五、功能特点

5.1 软件模块

  1. 视频监控模块,各种停靠小窗体子模块,包括设备列表、图文警情、窗口信息、云台控制、预置位、巡航设置、设备控制、悬浮地图、网页浏览等。
  2. 视频回放模块,包括本地回放、远程回放、设备播放、图片回放、视频上传等。
  3. 电子地图模块,包括图片地图、在线地图、离线地图、路径规划等。
  4. 日志查询模块,包括本地日志、设备日志等。
  5. 系统设置模块,包括系统设置(基本设置、视频参数、数据库设置、地图配置、串口配置等)、录像机管理、摄像机管理、轮询配置、录像计划、用户管理等。

5.2 基础功能

  1. 支持各种视频流(rtsp、rtmp、http等)、视频文件(mp4、rmvb、avi等)、本地USB摄像机播放。
  2. 支持多画面切换,包括1、4、6、8、9、13、16、25、36、64画面切换。
  3. 支持全屏切换,多种切换方式包括鼠标右键菜单、工具栏按钮、快捷键(alt+enter全屏,esc退出全屏)。
  4. 支持视频轮询,包括1、4、9、16画面轮询,可设置轮询分组(轮询预案)、轮询间隔、码流类型等。
  5. 支持onvif协议,包括设备搜索、云台控制、预置位、设备控制(图片参数、校对时间、系统重启,抓拍图片等)。
  6. 支持权限管理,不同的用户可以对应不同的模块权限,比如删除日志、关闭系统等。
  7. 数据库支持多种,包括sqlite、mysql、sqlserver、postgresql、oracle、人大金仓等。
  8. 本地USB摄像机支持设置分辨率、帧率等参数。
  9. 所有停靠模块都自动生成对应的菜单用来控制显示和隐藏,在标题栏右键可以弹出。
  10. 支持显示所有模块、隐藏所有模块、复位普通布局、复位全屏布局。
  11. 双击设备弹出实时预览视频,支持图片地图、在线地图、离线地图等。
  12. 摄像机节点拖曳到对应窗体播放视频,同时支持拖曳本地文件直接播放。
  13. 删除视频支持鼠标右键删除、悬浮条关闭删除、拖曳到视频监控面板外删除等多种方式。
  14. 图片地图上设备按钮可自由拖动,自动保存位置信息。百度地图上可以鼠标单击获取经纬度信息,用来更新设备位置。
  15. 视频监控面板窗体中任意通道支持拖曳交换,瞬间响应。
  16. 封装了百度地图,视图切换,运动轨迹,设备点位,鼠标按下获取经纬度等。
  17. 双击节点、拖曳节点、拖曳窗体交换位置等操作,均自动更新保存最后的播放地址,下次软件打开自动应用。
  18. 右下角音量条控件,失去焦点自动隐藏,音量条带静音图标。
  19. 支持视频截图,可指定单个或者对所有通道截图,底部小工具栏也有截图按钮。
  20. 支持超时自动隐藏鼠标指针、自动全屏机制。
  21. 支持onvif云台控制,可上下左右移动云台摄像机,包括复位和焦距调整等。
  22. 支持onvif预置位,可以添加、删除、修改预置位,可以调用起始位。
  23. 支持onvif图像参数设置,包括明亮度、对比度、饱和度、尖锐度等。
  24. 支持onvif其他操作,包括抓图、网络设置、校时、重启、事件订阅等。
  25. 支持任意onvif摄像机,包括但不限于海康、大华、宇视、天地伟业、华为等。
  26. 可保存视频,可选定时存储或者单文件存储,可选存储间隔时间。
  27. 可设置视频流通信方式tcp+udp,可设置视频解码是速度优先、质量优先、均衡等。
  28. 可设置软件中文名称、英文名称、LOGO图标等。
  29. 存储的视频文件支持导出到指定目录,支持批量上传到服务器。
  30. 完善的录像计划设置,支持每个通道7 * 24小时每半小时设置是否存储录像。

5.3 特色功能

  1. 主界面采用停靠窗体模式,各种组件以小模块的形式加入,可自定义任意模块加入。
  2. 停靠模块可拖动任意位置嵌入和悬浮,支持最大化全屏,支持多屏幕。
  3. 双重布局文件存储机制,正常模式、全屏模式都对应不同的布局方案,自动切换和保存,比如全屏模式可以突出几个模块透明显示在指定位置,更具科幻感现代化。
  4. 原创onvif协议机制,采用底层协议解析(udp广播搜索+http请求执行命令)更轻量易懂易学习拓展,不依赖任何第三方组件比如gsoap。
  5. 原创数据导入、导出、打印机制,跨平台不依赖任何组件,瞬间导出数据。
  6. 内置多个原创组件,宇宙超值超级牛逼,包括数据导入导出组件(导出到xls、pdf、打印)、数据库组件(数据库管理线程、自动清理数据线程、万能分页、数据请求等)、地图组件、视频监控组件、文件多线程收发组件、onvif通信组件、通用浏览器内核组件等。
  7. 自定义信息框+错误框+询问框+右下角提示框(包含多种格式)等。
  8. 精美换肤,高达17套皮肤样式随意更换,所有样式全部统一,包括菜单等。
  9. 视频控件悬浮条可以自行增加多个按钮,监控界面底部小工具栏也可自行增加按钮。
  10. 双击摄像机节点自动播放视频,双击节点自动依次添加视频,会自动跳到下一个,双击父节点自动添加该节点下的所有视频。可选主码流、子码流。
  11. 录像机管理、摄像机管理,可添加删除修改导入导出打印信息,立即应用新的设备信息生成树状列表,不需重启。
  12. 可选多种内核自由切换,ffmpeg、vlc、mpv等,均可在pro中设置。推荐用ffmpeg,跨平台最多,默认提供好了linux和mac平台上编译好的库。
  13. 支持硬解码,可设置硬解码类型(qsv、dxva2、d3d11va等)。
  14. 默认采用opengl绘制视频,超低的CPU资源占用,支持yuyv和nv12两种格式绘制,性能爆表。
  15. 标签和图形信息支持三种绘制方式,绘制到遮罩层、绘制到图片、源头绘制(对应信息可以存储到文件)。
  16. 高度可定制化,用户可以很方便的在此基础上衍生自己的功能,比如增加自定义模块,增加运行模式、机器人监控、无人机监控、挖掘机监控等。
  17. 支持xp、win7、win10、win11、linux、mac、各种国产系统(UOS、中标麒麟、银河麒麟等)、嵌入式linux等系统。
  18. 注释完整,项目结构清晰,超级详细完整的使用开发手册,精确到每个代码文件的功能说明,不断持续迭代版本。

你可能感兴趣的:(Qt-视频监控系统,qt,音视频,流媒体,推流)