视频智能分析/视频上云服务平台EasyCVR如何在FFmpeg中插入SEI信息集成AI智能分析?

视频上云服务EasyCVR已经开发集成了海康SDK、Ehome协议等私有协议,目前其他的协议也在拓展当中,有兴趣的用户可以看一下我们的Ehome协议开发过程(Ehome协议调用流程介绍)。

视频智能分析/视频上云服务平台EasyCVR如何在FFmpeg中插入SEI信息集成AI智能分析?_第1张图片

EasyCVR目前正在研发AI智能分析集成功能,将智能分析结果插入视频流成为我们首要解决的问题,我们使用了FFmpeg中插入SEI信息流程。

生成SEI的方式基本可以归类为一下三种:
1、对已有码流做filter,插入SEI NAL;
2、视频编码时生成SEI;
3、容器层写入时插入SEI。

一、EasyCVR选择1中的方式,参考FFMepg 中bsf,在不做码流解码的前提下,对已经编码后的比特流做特定的修改、调整. 插入时遵循SPS+PPS+SEI+IDR 的顺序
Ffmpeg h264_metadata_bsf.c

视频智能分析/视频上云服务平台EasyCVR如何在FFmpeg中插入SEI信息集成AI智能分析?_第2张图片

视频智能分析/视频上云服务平台EasyCVR如何在FFmpeg中插入SEI信息集成AI智能分析?_第3张图片

以上代码完整解释了SEI规范,其中"H264_SEI_TYPE_USER_DATA_UNREGISTERED"值为5,对应的即是未注册的用户信息。在解析"ffmpeg"工具输入过程中,将"+“号前面的字符串转换成二进制写入uuid,”+"后内容使用字符串写入payload。

二、码流中随机插入SEI,如下:

视频智能分析/视频上云服务平台EasyCVR如何在FFmpeg中插入SEI信息集成AI智能分析?_第4张图片

随机插入指的是 不遵循sps+pps+sei+idr 的顺序,根据需要随机插入,保证前端获取信息的实时性,可能的顺序为SEI+P+P+SEI+P+P+P

加入SEI信息成功后,码流SEI部分如下图所示

视频智能分析/视频上云服务平台EasyCVR如何在FFmpeg中插入SEI信息集成AI智能分析?_第5张图片

EasyCVR安防视频云服务的主要功能是将本地局域网内连通的RTSP视频源,通过RTMP协议推送到阿里、腾讯等公有云厂商的视频服务中,同时具备本地存储文件的能力,可接入SDK、支持H265视频流编解码、支持电视墙等功能。

你可能感兴趣的:(EasyCVR)