Video graphics system[IPU, VPU and GPU]

 

摘要:本文简要介绍了OpenMax 的集成层,并阐述了其在Android上的实现和运行过程。

关键字:OMX, 多媒体框架, IL, Android, Stagefright

1OpenMax 集成层介绍

OpenMax是一个多媒体应用程序的框架标准。它自上而下分为三层,Application Layer, Integration LayerDevelopment Layer。应用层规定了应用程序和多媒体中间层的标准接口,使应用程序的移植性更好。集成层定义了多媒体组件的接口,使得多媒体框架能以一种统一的方式访问多媒体Codec和组件,以便在嵌入式流媒体框架中快速集成加速编解码器。。开发层为Codec厂商和硬件厂商提供了一套API,使开发更加便捷。

Video graphics system[IPU, VPU and GPU]_第1张图片

1 OpenMax的分层结构

OMX集成层由ClientCoreComponentPort组成,Client通过Core得到对应ComponentHandle,而后通过命令直接和Component进行交互。每个Component至少有一个Port进行数据交互,如Decoder有一个输入Port接收码流,一个输出Port输出YUV序列。Component内部可能通过消息处理机制完成Client要求的任务。

Video graphics system[IPU, VPU and GPU]_第2张图片

2 OMX IL层的组成

Android中,OpenMax IL层,通常可以用于多媒体引擎的插件,Android2.2的多媒体引擎StageFright都可以使用OpenMax作为插件,主要用于编解码(Codec)处理。

Android的框架层,定义了由Android封装的OpenMax接口,和标准的接口概念基本相同,使用C++类型的接口,并且使用了AndroidBinder IPC机制实现了函数远程调用。Android封装OpenMax的接口被StageFright使用。

解码Component通过输入Port和输出Port来进行交互,可以通过和OMXCodec共享buffer来进行编解码。

Video graphics system[IPU, VPU and GPU]_第3张图片

3 StageFrightOMX结构

2OMX相关的类关系

StageFright的核心播放器AwesomePlayer中包含了sp<MediaSource>型的mVideoSource指针,初始化时指向OMXCodec的实际对象。OMXCodec使用了Binder机制,实现了远程函数调用,且函数调用模式于本地函数无异,其中IOMX作为接口类定义了OMX的大部分接口函数。OMX的具体实现时,OMXMaster类用于管理OMX的插件,OMXNodeInstance类代表OMX的具体实例,完成和Component的调用和交互,内部类CallbackDispatcher是一个主动类,它用于调度处理回调函数传回的消息。OMXNodeInstanceCallbackDispatcher一一对应,协同工作,完成不同实例的消息处理。

Video graphics system[IPU, VPU and GPU]_第4张图片

4 OMX相关类关系图

         OMXNodeInstance类中最重要的几个函数为:

allocateBuffer: Client通过调用此函数让Component分配Buffer

useBuffer: Client通过此函数将已分配好的Buffer传给Component,让其使用。

freeBuffer: Client通过调用此函数让Component释放allocateBuffer()分配的Buffer

fillBuffer: Client通过调用此函数传递空的BufferComponent,让其将处理好的数据填入其中。此函数会调用OMX标准接口OMX_FillThisBuffer()

emptyBuffer: Client通过调用此函数传递输入BufferComponent,让其读取其中的数据进行编解码等处理。此函数会调用OMX标准接口OMX_ EmptyThisBuffer ()

OnEmptyBufferDone: Component完成对输入buffer的读取后,调用此回调函数,向Client发送EmptyBufferDone消息。

OnFillBufferDone: Component完成相应处理将输出数据填入输出Buffer后,调用此回调函数,向Client发送FillBufferDone消息。

Decoder为例,说明OMX Codec执行解码的过程,

Video graphics system[IPU, VPU and GPU]_第5张图片

5 OMX Codec解码序列图

OMXCodec使用emptyBuffer()函数(IL层中为OMX_EmptyThisBuffer()传递未解码的buffercomponent,component收到该命令后会读取input port buffer中的数据,将其组装成帧进行解码,读取buffer中的数据完成后会调用EmptyBufferDone通知OMXCodec

Compoment使用EmptyBufferDone消息通知OMXCodec已完成input buffer的读取, 具体的实现是通过调用回调函数OnEmptyBufferDone()实现的。OMXCodec收到该命令后会通过mVideoTrack读取新的视频码流到input portbuffer,并调用OMX_EmptyThisBuffer通知component

OMXCodec使用OMX_FillThisBuffer传递空的bffercomponent用于存储解码后的帧,Component收到该命令后将解码好的帧数据复制到该buffer,然后调用FillBufferDone通知OMXCodec

Compoment使用FillBufferDone通知OMXCodec已完成output port buffer的填充,具体的实现是通过调用回调函数OnFillBufferDone()实现的。OMXCodec收到该命令后将解码好的帧存入可显示队列中,AwesomePlayer调用OMXCodec::read()函数读出可显示队列的对头送给Renderer完成颜色转换等操作再传递给mISurface进行图像绘制,同时Render调用release()函数,其中的SignalBufferDone()会用OMX_FillThisBuffer通知component有空的buffer可填充。

你可能感兴趣的:(Video graphics system[IPU, VPU and GPU])