海思小于100毫秒低延迟直播方案测试

本文镜像：https://www.linkpi.cn/archives/396
本文链接：https://blog.csdn.net/weixin_45326556/article/details/95058054

背景

    最近接触了许多客户，许多是做安全方面产品的客户，有些还涉及到jun队后勤的等等，他们普遍对采集延迟，编码延迟，传输延迟等都有很大关注。例如有个客户是做反狙击探测的，那可是与生命相关的，容不得试错的（PS:我无法判断海思Hi3531D/Hi3521D系列产品是否适合做这种高实时性的产品，当然做个评估或者算法验证完全是可以的）。

测量方法

    精准测试延迟的方法要用专业仪器来测量，或者在程序中记录精准时间来判断，这些方法过于专业，也不方便展示，本文采用的测量方法是目测法，这个方法不大精准，但最容易展示。

    如上图所，通常直播是经过采集，编码，网络输出，网络接收，解码，显示输出，经过这几大环节后，用户才能看到直播的画面，其总延迟是T1-T3；采集延迟为T1-T2。直播延迟还跟网络协议有关，其中UDP，RTMP和RTSP延迟相对较小，HTTP延迟偏大，延迟最大的是HLS，这种技术是切片技术，很适合做对延迟要求不高的网络直播（例如非互动的单向直播，IPTV就是这类），该技术最大的好处就是能在网络带宽波动很大的环境下也能保持流畅（其实就是因为缓冲够大嘛）。

测试结果

    为了抓拍到T1,T2,T3，我们使用单反相机快速连拍功能，分别对UDP，RTSP和RTMP协议的测试进行抓拍，然后对抓拍到图片序列进行统计分析。抓拍到的图片序列已经上传到百度网盘，需要的可以从我们百度网盘上下载：
链接：https://pan.baidu.com/s/1ySnVeRHsuvzvtywh8xDz1g
提取码：qx9x

    如上图所示，做为信号源的笔记本显示的时间码是19:35:55.217，而编码板采集预览显示的时间码也是19:35:55.217，说明采集延迟为T1-T2=217-217=0，忽略不计；解码板通过网络接收来自编码板的网络流，解码后通过HDMI输出，其显示的时间码是19:35:55.174，那说明延迟为T1-T3=217-174=43，也就是延迟为43毫秒。为了方便用户查看和对比，我们把拍下来的照片的时间码做了记录，并用EXCEL表做了计算，参见下表。

    从上表可以看出，UDP(TS封装）的平均延迟为71.1毫秒，由于我们的TS封装是使用了FFMPEG来进行封装的，所以封装延迟较大，如果采用RAW H264/H265 UDP，估计延迟会大大降低；RTSP OVER UDP平均延迟为83豪秒，还真搞不懂这个延迟什么会这么大；RTMP的延迟仅为52.6毫秒，真是有点意外，而且每个采样的延迟几乎都是在43毫秒左右，很均匀，不像TS-UDP和RTSP OVER UDP每个采样测出的延迟数据波动有点大。

源程序

编码端源程序

完整的工程参见：https://gitee.com/LinkPi/3531D/tree/master/LowLatencyENC

//main.cpp
#include 
#include "Link.h"

#define RTSP
//#define UDP
//#define RTMP

int main(int argc, char *argv[])
{
    QCoreApplication a(argc, argv);

    Link::init();

    LinkObject *vi=Link::create("InputVi");
    QVariantMap dataVi;
    dataVi["interface"]="HDMI-A";
    vi->start(dataVi);

    LinkObject *vo=Link::create("OutputVo");
    QVariantMap dataVo;
    dataVo["type"]="hdmi";
    dataVo["lowLatency"]=true;
    vo->start(dataVo);

    vi->linkV(vo);

    LinkObject *encV=Link::create("EncodeV");
    QVariantMap dataEncV;
    dataEncV["codec"]="h264";
    dataEncV["framerate"]=60;
    dataEncV["width"]=1920;
    dataEncV["height"]=1080;
    dataEncV["bitrate"]=8000;
    dataEncV["lowLatency"]=true;
    encV->start(dataEncV);

    LinkObject *mux=Link::create("Mux");
    QVariantMap dataRtsp;
#ifdef RTSP
    dataRtsp["path"]="mem://test";
    dataRtsp["format"]="rtsp";
#elif UDP
    dataRtsp["path"]="mem://test";
    dataRtsp["format"]="mpegts";
#elif RTMP
    dataRtsp["path"]="rtmp://127.0.0.1/live/test";
    dataRtsp["format"]="flv";
#endif
    dataRtsp["mute"]=true;
    mux->start(dataRtsp);



#ifdef RTSP
    LinkObject *rtspServer=Link::create("Rtsp");
    rtspServer->start();
    vi->linkV(encV)->linkV(mux)->linkV(rtspServer);
#elif UDP
    LinkObject *udp=Link::create("TSUdp");
    QVariantMap dataUDP;
    dataUDP["ip"]="192.168.1.77";
    dataUDP["port"]=1234;
    udp->start(dataUDP);
    vi->linkV(encV)->linkV(mux)->linkV(udp);
#elif RTMP
    vi->linkV(encV)->linkV(mux);
#endif

    return a.exec();
}

解码端源程序

完整的工程参见：https://gitee.com/LinkPi/3531D/tree/master/LowLatencyDEC

//main.cpp
#include 
#include "Link.h"

#define RTSP
//#define UDP
//#define RTMP

int main(int argc, char *argv[])
{
    QCoreApplication a(argc, argv);
    Link::init();

    LinkObject *vo=Link::create("OutputVo");
    QVariantMap dataVo;
    dataVo["type"]="hdmi";
    vo->start(dataVo);
    LinkObject *net=Link::create("InputNet");
    QVariantMap dataNet;
#ifdef RTSP
    dataNet["path"]="rtsp://192.168.1.76/test";
#elif UDP
    dataNet["path"]="udp://@:1234";
#elif RTMP
    dataNet["path"]="rtmp://192.168.1.76/live/test";
#endif
    dataNet["protocol"]="udp";
    dataNet["buffer"]=false;
    dataNet["sync"]=false;
    net->start(dataNet);

    LinkObject *dec=Link::create("DecodeV");
    QVariantMap dataDec;
    dataDec["lowLatency"]=true;
    dec->start(dataDec);

    net->linkV(dec)->linkV(vo);

    return a.exec();
}

抓拍的图片序列

为了方便阅读，我们这里对每一种网络协议抓拍到的图片展示三幅图，若需要查看全部的图，请到网盘下载。

1.TS over UDP

2.RTSP over UDP

3.RTMP