android Nuplayer RTSP 学习

转自:http://wenku.baidu.com/view/096109bac77da26925c5b0a9.html

Android4.x的RTSP框架学习

                                                                   ——NuPlayer介绍

本文介绍如下内容:

            播放框架介绍

            RTSP源介绍

            HTTP流媒体的区别

            要研究的点

 

NuPlayer框图:

概述:

1.        整个播放框架是基于ALooper、AHandler和Amessage实现的消息机制的。

2.        从MediaPlayerService看,有RTSP和http且为m3u8的url会用NuPlayerDriver,前者就走RTSPSource后者走HTTPLiveSource(还没看呢)。

3.        分播放框架和RTSP源两部分来介绍,他们之间耦合很低,可以分开看代码。

播放框架:

1.        NuPlayerDriver是对NuPlayer的封装,前者继承MediaPlayerInterface接口,后者实现播放的功能。

2.        NuPlayer通过RTSPSource接口得到数据流的信息和解码数据本身,RTSPSource的接口有start、getFormat、getDuration、seekTo、dequeueAccessUnit、feedMoreTSData和stop。后面会对NuPlayer做详细介绍。

3.        Decoder的核心是ACodec,后者相当于stagefright的OMXCodec,实例化一个OMX的Client,调用OMX组件,实现Decode功能。

4.        ACodec有几个跟OMX状态对应的内部类,这里有个状态机的概念。如果一个msg的Handler为Acodec,那么他对应的处理函数就对应其所在状态的onMessageReceived实现。看ACodec代码要了解OMX的一些概念,否则找不到调用关系了,有些流程是要靠OMX回调来串联的。

5.        Render,奇怪,我始终没能找到google组件软解的显示是在哪里实现的,期待debug。

6.        Android4.0引入了SurfaceTexture的概念,在给组件分配输出buffer时有两种方式可选,分配一段内存buffer,或是从显示模块分配buffer,后者显然更高效。前者还需要再做一次格式转换,后者貌似由OMX完成。

7.        OMX组件,在qcom平台上有两套组件plugin,qcom的和google的,qcom在libstagefrighthw.so中。google的组件和库命名规则为"OMX.google.aac.decaac.decoder"//对应动态库libstagefright_soft_aacdec.so

 

RTSP源:

1.        RTSPSource的与播放框架接口,是播放框架的数据源。其主要接口有:

2.        AnotherPacketSource在RTSPSource中作为mAudioTrack和mVideoTrack,他虽然继承了MediaSource接口,但是并没有使用read来读数据,而是通过dequeueAccessUnit接口,Server端的压缩流通过queueAccessUnit保存到这里。

3.        MyHandler是核心,其中包含ARTSPConnection和ARTPConnection两大部分。MyHandler负责向Server端发送Request和处理Response。

4.        ARTSPConnection负责维护RTSP socket,发送Request,循环接收Server端数据,响应Server的Request。这里只是接收Response,真正的处理在MyHandler侧。

           

5.        代码使用的RTSP请求有DESCRIBE,其Response中有SDP信息,接下来是SETUP,将本端的端口信息等发给服务器,然后是PLAY。为了保持RTSP链接,还要周期性发OPTIONS

6.        ARTPConnection负责RTP和RTCP两个socket,接收RTP和RTCP包,周期性发送RTCP包。

            Public接口:

           

Private接口:

           

7.        每个RTP数据流都有一个ARTPSource,后者会创建一个ARTPAssembler。依据处理数据流的压缩格式,实例化对应格式的Assembler。

            ARTPAssembler的Public接口:

           

            ARTPAssembler的Private接口:

           

8.        ARTPAssembler对ARTPConnection接收到的数据进行处理,如AVC数据,他会把单一NAL,NAL分片和复合NAL分别处理后,都以单独NAL的形式回调传给RTSPSource,存放在AnotherPacketSource中,供decoder端使用。

 

HTTP的比较:

1.      HTTPLive还没看。

2.      普通的http和rtsp最大的区别是什么呢?

            HTTP流媒体是本地解析,而RTSP流媒体是server段解析。HTTP流媒体通过HTTP协议,下载一定buffer量的server端文件到本地,利用本地的parser,像播放文件一样解析,播放。而RTSP流媒体,从server端得到的就是可解码流。

            HTTP在实现seek时,是丢掉当前所有buffer内容的。

 

要研究的点:

1, RTSP协议,request和response数据包的解析。

2, RTSP播放过程的管理。

            Seek过程为,先向Server端发一个PAUSE,带响应后再发一个带时间点的PLAY请求。

3, SDP协议。

4, RTP和RTCP协议,要了解接收到的RTP包头字段的信息。

5, RTSP协议,要了解接收到RTCPSR(SendReprot)和发送出的RR(ReceiveReport)信息。

6, 如AVC要了解NAL单元信息。

你可能感兴趣的:(android源码分析)