Android Multimedia Framework 架构--base on jelly...

 我们学习一种新事物必然首先都要对该事物要有个大体的了解，熟悉它的整体架构，然后进行划分归类，接下来才是各个击破，逐步学习乃至掌握。对于要学习android Multimedia的人来说也是如此，先来个总括吧 ！我打算分三部分来讲解，请听我娓娓道来....

一：多媒体简介

     为啥要讲多媒体的概念呢？可能很多人都对这个名称解释不怎么了解，所以在这普及普及。

     媒体（Media）就是人与人之间实现信息交流的中介，简单地说，就是信息的载体，也称为媒介。多媒体是计算机和视频技术的结合，实际上它是两个媒体；声音和图像，或者用现在的术语：音响和电视。多媒体本身有两个方面，和所有现代技术一样它是由硬件和软件，或机器和思想混合组成。可以将多媒体技术和功能在概念上区分为控制系统和信息。多媒体之所以能够实现是依靠数字技术。多媒体代表数字控制和数字媒体的汇合，电脑是数字控制系统，而数字媒体是当今音频和视频最先进的存储和传播形式。事实上有人就简单地认为多媒体是电脑和电视的结合。电脑的能力达到实时处理电视和声音数据流的水平，这时多媒体就诞生了。

二：android多媒体框架演变历史

       android 的多媒体框架从android诞生以来，发生了天方腹地的变化，包括引擎的更改，单独处理流媒体的播放器nuplayer的加入，到最新jellybean（android4.1）nuplayer逐步加入stagefrightplayer的功能，可能以后stagefight引擎会被nuplayer取代，那都是后话了。但是openomx（即引擎连接codec的纽带）一直都得到了保持。

       在Froyo2.2 以前，multimedia framework 的引擎是一直都是opencore，但为啥用stagefright替代呢，由于我没有开发过opencore，不便下结论，但从网上一些言论来看，估计是opencore太过庞大，不太好维护，具体真正原因就得问google了，如果你知道具体原因，可以给我留言，在此多谢了！

       Gingerbread  android2.3，加入了真正的支持流媒体的播发器nuplayer，如果你下有源码，可以用gitk \nuplayer，从gitk可以看到如下提交：Initial support for a true streaming player for mpeg2 transport streams. 2010.12。

      android 3.0 到android 4.0 ，总体框架没有多大变化。

      android4.1 (jellybean) 最大的变化是给c/c++部分的多媒体框架单独设立了一个framework/av的目录，给它开辟了一个git库，即从framework/base下的git库分离了出来，总算给多媒体找了个港湾。 

三：jellybean多媒体架构

        multimedia framework 架构 由三大部分构成：供上层程序调用的java API，连接java和C/C++的jni部分，多媒体引擎（stagefright）和codec接口（openmax interface）。前面两部代码在framework/base/media 下，后一部分在framework/av文件夹下。如果你修改的是java API接口或加LOG后编译可以用如下命令：make framework ，JNI 部分 make media_jni，第三部分有三个libs组成：libmedia ，libmediaplayerservice, libstagefright,命令如下 make media ，make stagefright ， make mediaplayerservice. 生成各自的.so文件，用adb push 到system/下就可以调试了。记得重启！讲了好多废话，还是没有看到总体架构，罪过，好吧，上图，更直观。

 

      

 

 

      

    从上两图，我们可以发现上层APK要播放视频，首先得获得一个player，而这个player的类型根据你媒体文件的类型来决定的，分配的任务由mediaplayerservice来完成，除了获得player外最主要的是到底选用哪种编码器进行编解码，这个过程由awesomeplayer和omxcodec来完成，至于声音和图像就交由audioflinger和surfaceflinger来完成了。具体的调用实现，下一篇videoplayerback将会慢慢讨论和学习。