监控汇聚平台EasyCVR如何实现安防视频监控直播超低延时

随着互联网技术的迅速发展，视频直播技术也取得了进步。用户对于视频直播过程中的强互动需求推动了低延迟直播技术的发展和应用。传统的直播技术延迟很大，因此我们研究低延迟直播技术的初衷是通过流媒体音视频技术降低直播延迟并提高实时互动效率。

我们对当前主流的直播技术进行了简单的分析。常见的直播大多采用RTMP、HLS、FLV等协议，这些协议具有技术成熟、兼容性好和支持大规模并发等特点。然而，端到端延迟最低只能控制在4-6秒，这降低了直播的互动体验，也阻碍了直播在某些场景下的应用。

 1、HLS (HTTP Live Streaming）

HLS的延迟主要来自编码/解码的延迟、网络延迟以及CDN分发延迟等。由于HLS是切片协议，延迟主要存在于两个方面：一是服务端的切片缓冲延迟，另一个是播放端的防抖缓冲延迟。切片的大小和数量都会影响HLS的延迟，一般来说延迟会达到10秒以上。

2、RTMP(Real Time Messaging Protocol）/HTTP-FLV

目前国内大多数厂家使用的是RTMP协议，相对于HLS，在服务端做了一定的优化。RTMP在服务端不再进行切片，而是分别转发每一帧，因此CDN分发延迟非常小。RTMP的延迟主要来自播放端的防抖缓冲，为了提升弱网络环境下直播的流畅度，缓冲延迟一般为5~10秒。

以上这两类协议都是基于TCP协议，国内厂商已经将RTMP over TCP的延迟做到了极致。然而，如果一个协议仍然基于TCP来优化延迟，很难在效果上超过目前的RTMP。然而，TCP由于其自身的特性，在低延迟直播场景下并不适用，其主要原因如下：

1）重传速度慢

TCP的ACK确认机制使得发送端在丢包后需要等待超时时间（一般为200毫秒）才能进行重传，这会导致接收端的帧抖动。

2）拥塞判断不准确

基于丢包的拥塞控制算法很难准确判断拥塞情况，丢包并不等于拥塞。此外，它还会导致发送链路的缓冲过载，增加链路RTT和延迟。

3）灵活性差

这是最主要的原因，TCP拥塞控制算法在操作系统内核层实现，优化成本较高，移动端只能利用系统已有的优化。

目前，实现低延迟直播数据流需要以下几类技术：

1）超低数据缓存技术

2）高性能流媒体处理技术

3）多终端适配技术

基于以上分析，我们需要开辟一条新的道路来解决视频直播的低延迟需求，即通过WebRTC技术进行低延迟直播。

WebRTC（Web Real-Time Communications）是一项实时通讯技术，它允许网络应用或者站点在不借助中间媒介的情况下，建立浏览器之间点对点（Peer-to-Peer）的连接，实现视频流、音频流或其他任意数据的传输。WebRTC技术已经日渐成熟，并在业界得到广泛应用。它可以实现端到端延迟在300毫秒至600毫秒之间，并且不需要额外的插件，还能支持自适应比特率传输以适应复杂的网络状况。

作为深耕于音视频流媒体领域的我们，在处理视频直播低延迟方面的建议流程如下：

首先，在现场进行设备接入并拉取设备流，然后在云端部署我们最新的服务（EasyCVR视频融合云平台），并接入来自现场的视频流。最后，通过WebRTC技术进行低延迟优化处理。根据我们目前的内部测试效果，在普通安防设备上，延迟可以有效控制在300毫秒以下，可以大大满足视频安防监控等场景对低延迟直播的需求。

EasyCVR视频融合云平台具有高兼容性和强拓展性，可以快速实现统一的汇聚与管理、鉴权分发、智能分析、数据共享以及集成和调用等视频能力服务。基于该平台强大而灵活的视频能力，可以实现对仓库工作现场的远程监控，提高工作人员的监管效率，实现对仓库的可视化和智能化监管。