Android-7.0-Nuplayer概述

Nuplayer简介

Android2.3时引入流媒体框架，而流媒体框架的核心是NuPlayer。Android4.0之后HttpLive和RTSP协议开始使用NuPlayer播放器，Android5.0（L版本）之后本地播放也开始使用NuPlayer播放器。

MediaPlayer基本使用方式

MediaPlayer mp = new MediaPlayer();
mp.setDataSource("/sdcard/test.mp3");
mp.prepare();
mp.start();

程序说明：
这个例子只是描述了MediaPlayer的基本使用步骤和方式，MediaPlayer还有多种使用方式和方法，并不只局限于例子所介绍的一种。具体来看：

1）如何获得MediaPlayer实例

• 可以使用直接new的方式：MediaPlayer mp = new MediaPlayer();
• 也可以使用create的方式，如：MediaPlayer mp = MediaPlayer.create(this, R.raw.test);//这时就不用调用setDataSource了

2) 如何设置要播放的文件

MediaPlayer要播放的文件主要包括3个来源

• a. 用户在应用中事先自带的resource资源，例如：MediaPlayer.create(this, R.raw.test);
• b. 存储在SD卡或其他文件路径下的媒体文件，例如：mp.setDataSource(“/sdcard/test.mp3”);
• c. 网络上的媒体文件，例如：mp.setDataSource(“http://www.citynorth.cn/music/confucius.mp3“);

MediaPlayer的setDataSource一共四个方法

• setDataSource (String path);
• setDataSource (FileDescriptor fd);
• setDataSource (Context context, Uri uri);
• setDataSource (FileDescriptor fd, long offset, long length);

3）对播放器的主要控制方法

• Android通过控制播放器的状态的方式来控制媒体文件的播放，其中：
• prepare()和prepareAsync() 提供了同步和异步两种方式设置播放器进入prepare状态，需要注意的是，如果MediaPlayer实例是由create方法创建的，那么第一次启动播放前不需要再调用prepare（）了，因为create方法里已经调用过了
• start()是真正启动文件播放的方法
• pause()和stop()比较简单，起到暂停和停止播放的作用
• seekTo()是定位方法，可以让播放器从指定的位置开始播放，需要注意的是该方法是个异步方法，也就是说该方法返回时并不意味着定位完成，尤其是播放的网络文件，真正定位完成时会触发OnSeekComplete.onSeekComplete()，如果需要是可以调用setOnSeekCompleteListener(OnSeekCompleteListener)设置监听器来处理的
• release()可以释放播放器占用的资源，一旦确定不再使用播放器时应当尽早调用它释放资源
• reset()可以使播放器从Error状态中恢复过来，重新回到Idle状态

4）设置播放器的监听器

• MediaPlayer提供了一些设置不同监听器的方法来更好地对播放器的工作状态进行监听，以期及时处理各种情况
• 如：setOnCompletionListener(MediaPlayer.OnCompletionListener listener)，setOnErrorListener(MediaPlayer.OnErrorListener listener)等，设置播放器时需要考虑到播放器可能出现的情况设置好监听和处理逻辑，以保持播放器的健壮性

Nuplayer

在实现上NuPlayer和Awesomeplayer不同，NuPlayer基于StagefrightPlayer的基础类构建，利用了更底层的ALooper/AHandler机制来异步地处理请求，ALooper列队消息请求，AHandler中去处理，所以有更少的Mutex/Lock在NuPlayer中。Awesomeplayer中利用了omxcodec，而NuPlayer中利用了Acodec。

架构图

重要概念

• NuPlayer::Source is the parser module. Actually its interface looks like a combination of MediaExtractor and MediaSource, and it also makes seekTo as an explicit API now.

• NuPlayer::Decoder connects to ACodec for AVC decoding, and to DecoderWrapper for AAC decoding, which in turn wrapps AAC software decoder in the OpenMAX style. ACodec is functionally similar as OMXCodec in Stagefright, besides the application of State pattern and passing MediaBuffers around with messages.

• NuPlayer::Render is responsible for rendering audio and also controls when to post video buffers back to NativeWindow for A/V sync.

视频是如何播放的

DataSource有两个概念

• 上面框图中的DataSourceInput（或者直接叫DataSource）指的是单纯的数据输入（未demux的）。
• 在后文中setDataSource中DataSource指的是从数据输入到demux输出的一个过程（即图中最外层的DataSource）。

VideoTrack与AudioTrack

指的是Extractor（即demux）的两个通道，从这里输出的分别就是单纯的解复用后的Video和Audio流。再经过Decoder后输出的就是音、视频的输出了
- VideoRenderer + Surface即视频的输出；
- AudioSink即音频的输出；

Nuplayer执行序列图

序列图源码

打开Web Sequence Diagrams网址，直接粘贴进去即可。

Title Nuplayer流程

participant NuPlayerDriver
participant NuPlayer
participant GenericSource
participant FileSource
participant MediaExtractor
participant AnotherPacketSource
participant DecoderBase
participant Decoder

opt setDataSource
    NuPlayerDriver->+NuPlayer: setDataSourceAsync()
        NuPlayer-->GenericSource: new GenericSource()
        NuPlayer-->GenericSource: setDataSource()
        NuPlayer-->NuPlayer: kWhatSetDataSource
    NuPlayer-->-NuPlayerDriver:

    NuPlayer->+NuPlayer: kWhatSetDataSource
    note right of NuPlayer: msg->findObject("source", &obj)\nmSource = static_cast<Source *>(obj.get());
    NuPlayer-->-NuPlayerDriver: notifySetDataSourceCompleted()
end 

opt prepare
    NuPlayerDriver->+NuPlayer: prepareAsync()
        NuPlayer-->NuPlayer: kWhatPrepare
    NuPlayer-->-NuPlayerDriver:

    NuPlayer->+NuPlayer: kWhatPrepare
        NuPlayer->+GenericSource: prepareAsync()
        GenericSource-->GenericSource: kWhatPrepareAsync
        GenericSource-->-NuPlayer: 
    NuPlayer-->-NuPlayer:

    GenericSource->+GenericSource: onPrepareAsync()
    GenericSource-->FileSource: new FileSource()
    GenericSource->GenericSource:initFromDataSource()
    GenericSource-->AnotherPacketSource: new AnotherPacketSource()
    GenericSource-->FileSource: sniff()
    GenericSource-->MediaExtractor:MediaExtractor::Create()
    GenericSource-->-NuPlayer: finishPrepareAsync()
end 

opt Start
    NuPlayerDriver->+NuPlayer: start()
        NuPlayer-->NuPlayer: kWhatStart
    NuPlayer-->-NuPlayerDriver:

    NuPlayer->+NuPlayer: onStart()
        NuPlayer->+GenericSource: start()
        GenericSource->GenericSource: postReadBuffer()
            GenericSource-->GenericSource: kWhatReadBuffer
            GenericSource->GenericSource: onReadBuffer()
            GenericSource->GenericSource:readBuffer()
            GenericSource-->AnotherPacketSource: queueAccessUnit()
            GenericSource-->GenericSource: kWhatStart
            GenericSource-->GenericSource: restartPollBuffering()
        GenericSource-->-NuPlayer:

        NuPlayer->+DecoderBase: setRenderer()
        DecoderBase-->DecoderBase: kWhatSetRenderer
        DecoderBase-->-NuPlayer: 
        NuPlayer->NuPlayer: postScanSources()
    NuPlayer-->-NuPlayer: kWhatScanSources
end