RTSP协议转换RTMP直播协议

 RTSP协议也是广泛使用的直播/点播流媒体协议,以前的项目里实现了一个RTSP协议转换RTMP直播协议的程序,为的是可以接收远端设备或服务器的多路RTSP直播数据,实时转换为RTMP直播协议,推送到NginxRtmp等RTMP服务器,可以在PC上实现flash观看RTSP直播源(比如IPCAM)的需求,也能通过Nginx的HLS协议转换,在手机上观看。实现的思路分享如下。

要点分析

  首先,程序的主要目的,是从多路RTSP输入源中提取AAC编码的音频和H.264编码视频数据,并生成RTMP数据包,然后组装RTMP推送协议,并发往RTMP服务器。在发送的过程中,要求可以从RTSP数据源切换到具有相同h.264和aac编码的FLV文件中,并不影响RTMP直播。因此,本程序的关键点有以下部分:

  1. RTSP直播流的读取

  2. H.264和AAC编码数据的分析、处理

  3. FLV文件数据的提取及与RTSP直接的切换和衔接

  4. RTMP数据包封装

  5. RTMP推送协议

  有了关键点,就可以一项一项的去分析。

设计思路

  根据上面分析的要点,首先要选择RTSP直播协议的读取。我们不需要从零做起,网络上有很多和RTSP相关的开源项目可以使用或借鉴,我选择了Live555。(后来我也做了通过ffmpeg接口来读取RTSP数据的项目,也很不错,各有优缺点)

Live555是一个跨平台的流媒体解决方案,主要支持RTSP协议,好像也支持SIP(这个也是我马上研究的重点,之后会写文章研究SIP相关的技术实现)。Live555实现了RTSP包括服务器-客户端的整套结构,是很知名的一个开源项目。网上有很多关于Live555学习和使用的文章,我就不具体介绍了。

  H.264和AAC数据的分析处理,这个对于从没做过相关项目开发的人来说,应该是一个难点,主要是相关概念的理解。好在我一直在做这块,也比较好弄。

  第4和第5点,可以参照我之前的文章C++实现RTMP协议发送H.264编码及AAC编码的音视频

的技术方法,来加以实现。因此,主要需要处理的就是RTSP直播流数据的获取,以及对其中H.264和AAC编码数据的处理。

【文末扫码进君羊,免费分享】资料包括《Andoird音视频开发必备手册+音视频学习视频+学习文档资料包+大厂面试真题+2022最新学习路线图》等等

 RTSP协议转换RTMP直播协议_第1张图片

 

 于是可以画出大体结构如下:

RTSP协议转换RTMP直播协议_第2张图片

逻辑与实

1. 程序框架和模块说明

RTSP协议转换RTMP直播协议_第3张图片

​2. 主要接口

RTSP协议转换RTMP直播协议_第4张图片

RtspCapture是我的程序里管理RTSP直播数据流和分析处理的类,接口很重要,基本上这个设计就可以。(当然,全部代码是不会放上来的,有兴趣的可以和我谈,这里只罗列关键的地方。)

RTSP协议转换RTMP直播协议_第5张图片

 

他所使用的live555变量,这里ourRTSPClient实际就是RTSPClient的简单继承

RTSP协议转换RTMP直播协议_第6张图片

3.RtspCapture调用live555的主要流程

  1. 首先,在RtspCapture构造函数初始化

  2. 在StartRtsp函数中,创建RtspClient,并发送"describe"命令,开始获取sdp。回调函数就是continueAfterDESCRIBE。在这里创建MediaSession,之后再发送"setup"命令,等,这些都可以在live555的例子以及网上的说明中看到。

RTSP协议转换RTMP直播协议_第7张图片

 3. 还有一个关键点,就是要在自己的线程循环中,调用live555 environment的事件循环,就像这样

RTSP协议转换RTMP直播协议_第8张图片

4. 对rtsp回调h264数据的分析处理

  这里演示了,如何从rtsp回调的h264数据中,提取sps和pps信息。里面的parse函数,是live555自带的。

RTSP协议转换RTMP直播协议_第9张图片

调用方式

RTSP协议转换RTMP直播协议_第10张图片

你可能感兴趣的:(流媒体服务器,音视频开发,Android音视频开发,服务器,运维,音视频,实时音视频,视频编解码)