平衡操控应用场景探讨及RTSP技术实现

平衡操控应用背景

平行操控场景，通过超低延时视频通信技术与实时信令技术结合，使得操作者可以实时的驾驶/操作远端的无人车或机械设备。

相比传统近距离的遥控，平行操控的传输网构建在互联网之上，突破了传统距离限制，操控者可以实时遥控几百甚至上千公里以外的设备。在平行操控的应用场景上，应急接管、高危作业和远程服务是平行操控典型的三个业务场景。

首先是应急接管，以无人车为例，无人车目前被广泛应用在机场、码头、港口等地方，但应用过程中往往会出现如暴风雨、交通管制、突发事故等一些无法自主决策的场景。相较此前需要人为介入到现场处理，平行操控则可以更快、更低的成本解决这个问题。

第二是高危作业，在井下矿车、高空作业机器人、无人挖掘机等危险指数较高或环境恶劣等工作场景中，平行操控可以很好地发挥价值。

第三是远程服务，如机器人、云赛车、无人机之类的场景，操作者可以借助云服务操控这些无人值守设备。随着5G、AI、智能驾驶技术、实时互动技术的快速发展，虚实互动的平行操控场景开始受到行业关注。如物流园区的无人车、矿区的无人驾驶矿车，港口的无人集卡车，以及远程接管脱困的云代驾等，都需要平行操控类技术支持。

技术方案

针对平衡操控场景，我们最需要关注的是两点：人车协同和远程控制，对我们来说，意味着超低的延迟下，设备实时信令控制才有价值。

本文以大牛直播SDK的Windows平台轻量级RTSP服务为例，Windows平台轻量级RTSP服务采集毫秒计时器窗口，然后，对外输出RTSP URL，SmartPlayer播放端拉取RTSP的流数据，可以看到整体延迟毫秒级，完全可以满足平衡操控场景所需的延迟需求。

技术架构如下：

延迟如下：

轻量级RTSP服务功能设计如下：

•  [音频格式]AAC；
•  [视频格式]H.264、H.265；
•  [协议类型]RTSP；
•  [传输模式]支持单播和组播模式；
•  [端口设置]支持RTSP端口设置；
•  [鉴权设置]支持RTSP鉴权用户名、密码设置；
•  [获取session连接数]支持获取当前RTSP服务会话连接数；
•  [多服务支持]支持同时创建多个内置RTSP服务；
•  [RTSP url回调]支持设置后的rtsp url通过event回调到上层。

SmartPlayer RTSP播放器（覆盖Windows、Linux、Android、iOS平台）为例，功能如下：

• [支持播放协议]高稳定、毫秒级超低延迟；
•  [多实例播放]支持多实例播放；
•  [事件回调]支持网络状态、buffer状态等回调；
•  [视频格式]支持H.265、H.264，此外，还支持RTSP MJPEG播放；
•  [音频格式]支持AAC/PCMA/PCMU；
•  [H.264/H.265软解码]支持H.264/H.265软解；
•  [H.264硬解码]Windows/Android/iOS支持特定机型H.264硬解；
•  [H.265硬解]Windows/Android/iOS支持特定机型H.265硬解；
•  [H.264/H.265硬解码]Android支持设置Surface模式硬解和普通模式硬解码；
•  [RTSP模式设置]支持RTSP TCP/UDP模式设置；
•  [RTSP TCP/UDP自动切换]支持RTSP TCP、UDP模式自动切换；
•  [RTSP超时设置]支持RTSP超时时间设置，单位：秒；
•  [RTSP 401认证处理]支持上报RTSP 401事件，如URL携带鉴权信息，会自动处理；
•  [缓冲时间设置]支持buffer time设置；
•  [首屏秒开]支持首屏秒开模式；
•  [复杂网络处理]支持断网重连等各种网络环境自动适配；
•  [快速切换URL]支持播放过程中，快速切换其他URL，内容切换更快；
•  [音视频多种render机制]Android平台，视频：surfaceview/OpenGL ES，音频：AudioTrack/OpenSL ES；
•  [实时静音]支持播放过程中，实时静音/取消静音；
•  [实时音量调节]支持播放过程中实时调节音量；
•  [实时快照]支持播放过程中截取当前播放画面；
•  [只播关键帧]Windows平台支持实时设置是否只播放关键帧；
•  [渲染角度]支持0°，90°，180°和270°四个视频画面渲染角度设置；
•  [渲染镜像]支持水平反转、垂直反转模式设置；
•  [等比例缩放]支持图像等比例缩放绘制(Android设置surface模式硬解模式不支持)；
•  [实时下载速度更新]支持当前下载速度实时回调(支持设置回调时间间隔)；
•  [解码前视频数据回调]支持H.264/H.265数据回调；
•  [解码后视频数据回调]支持解码后YUV/RGB数据回调；
•  [解码前音频数据回调]支持AAC/PCMA/PCMU数据回调；
•  [音视频自适应]支持播放过程中，音视频信息改变后自适应；
•  [实时录像]支持实时录制MP4，设置录像路径、单个录像文件大小等。