平衡操控应用场景探讨及RTSP技术实现

平衡操控应用背景

平行操控场景,通过超低延时视频通信技术与实时信令技术结合,使得操作者可以实时的驾驶/操作远端的无人车或机械设备。

相比传统近距离的遥控,平行操控的传输网构建在互联网之上,突破了传统距离限制,操控者可以实时遥控几百甚至上千公里以外的设备。在平行操控的应用场景上,应急接管、高危作业和远程服务是平行操控典型的三个业务场景。

首先是应急接管,以无人车为例,无人车目前被广泛应用在机场、码头、港口等地方,但应用过程中往往会出现如暴风雨、交通管制、突发事故等一些无法自主决策的场景。相较此前需要人为介入到现场处理,平行操控则可以更快、更低的成本解决这个问题。

第二是高危作业,在井下矿车、高空作业机器人、无人挖掘机等危险指数较高或环境恶劣等工作场景中,平行操控可以很好地发挥价值。

第三是远程服务,如机器人、云赛车、无人机之类的场景,操作者可以借助云服务操控这些无人值守设备。随着5G、AI、智能驾驶技术、实时互动技术的快速发展,虚实互动的平行操控场景开始受到行业关注。如物流园区的无人车、矿区的无人驾驶矿车,港口的无人集卡车,以及远程接管脱困的云代驾等,都需要平行操控类技术支持。

技术方案

针对平衡操控场景,我们最需要关注的是两点:人车协同和远程控制,对我们来说,意味着超低的延迟下,设备实时信令控制才有价值。

本文以大牛直播SDK的Windows平台轻量级RTSP服务为例,Windows平台轻量级RTSP服务采集毫秒计时器窗口,然后,对外输出RTSP URL,SmartPlayer播放端拉取RTSP的流数据,可以看到整体延迟毫秒级,完全可以满足平衡操控场景所需的延迟需求。

技术架构如下:

平衡操控应用场景探讨及RTSP技术实现_第1张图片

延迟如下:

平衡操控应用场景探讨及RTSP技术实现_第2张图片

轻量级RTSP服务功能设计如下:

  •  [音频格式]AAC;
  •  [视频格式]H.264、H.265;
  •  [协议类型]RTSP;
  •  [传输模式]支持单播和组播模式;
  •  [端口设置]支持RTSP端口设置;
  •  [鉴权设置]支持RTSP鉴权用户名、密码设置;
  •  [获取session连接数]支持获取当前RTSP服务会话连接数;
  •  [多服务支持]支持同时创建多个内置RTSP服务;
  •  [RTSP url回调]支持设置后的rtsp url通过event回调到上层。

SmartPlayer RTSP播放器(覆盖Windows、Linux、Android、iOS平台)为例,功能如下:

  • [支持播放协议]高稳定、毫秒级超低延迟;
  •  [多实例播放]支持多实例播放;
  •  [事件回调]支持网络状态、buffer状态等回调;
  •  [视频格式]支持H.265、H.264,此外,还支持RTSP MJPEG播放;
  •  [音频格式]支持AAC/PCMA/PCMU;
  •  [H.264/H.265软解码]支持H.264/H.265软解;
  •  [H.264硬解码]Windows/Android/iOS支持特定机型H.264硬解;
  •  [H.265硬解]Windows/Android/iOS支持特定机型H.265硬解;
  •  [H.264/H.265硬解码]Android支持设置Surface模式硬解和普通模式硬解码;
  •  [RTSP模式设置]支持RTSP TCP/UDP模式设置;
  •  [RTSP TCP/UDP自动切换]支持RTSP TCP、UDP模式自动切换;
  •  [RTSP超时设置]支持RTSP超时时间设置,单位:秒;
  •  [RTSP 401认证处理]支持上报RTSP 401事件,如URL携带鉴权信息,会自动处理;
  •  [缓冲时间设置]支持buffer time设置;
  •  [首屏秒开]支持首屏秒开模式;
  •  [复杂网络处理]支持断网重连等各种网络环境自动适配;
  •  [快速切换URL]支持播放过程中,快速切换其他URL,内容切换更快;
  •  [音视频多种render机制]Android平台,视频:surfaceview/OpenGL ES,音频:AudioTrack/OpenSL ES;
  •  [实时静音]支持播放过程中,实时静音/取消静音;
  •  [实时音量调节]支持播放过程中实时调节音量;
  •  [实时快照]支持播放过程中截取当前播放画面;
  •  [只播关键帧]Windows平台支持实时设置是否只播放关键帧;
  •  [渲染角度]支持0°,90°,180°和270°四个视频画面渲染角度设置;
  •  [渲染镜像]支持水平反转、垂直反转模式设置;
  •  [等比例缩放]支持图像等比例缩放绘制(Android设置surface模式硬解模式不支持);
  •  [实时下载速度更新]支持当前下载速度实时回调(支持设置回调时间间隔);
  •  [解码前视频数据回调]支持H.264/H.265数据回调;
  •  [解码后视频数据回调]支持解码后YUV/RGB数据回调;
  •  [解码前音频数据回调]支持AAC/PCMA/PCMU数据回调;
  •  [音视频自适应]支持播放过程中,音视频信息改变后自适应;
  •  [实时录像]支持实时录制MP4,设置录像路径、单个录像文件大小等。

你可能感兴趣的:(流媒体,音视频,实时音视频,RTSP播放器,轻量级RTSP服务,平衡操控,平衡操控场景,RTSP,大牛直播SDK)