深入浅出gstreamer开发

Gstreamer解决什么问题?

上层接口和应用方式的 相对稳定 与底层接口、平台环境的 多样化 。例如: codec 不同种类不同实现,音视频处理不同,硬件输入、输出、采集播放不同,芯片不同,操作系统不同。
通用组件不灵活与需求的多变。色彩空间转换、缩放、编解码等组件功能是单一的。通过对这些组件进行组合,就可以满足多变的需求。要想拥有模块性、可移植性和通用的功能,通常是以极高的复杂性为代价。
计算机系统的万能解决办法: 加一层!
Gstreamer 媒体控制程序作为 中间件 ,它可以解析上层指令,并对底层进行控制。

Gstreamer基础

所有的 gstreamer 应用都是基于 gobject 的。
除了理解封装、继承、多态的模拟以外,理解 this 指针, vtable 的实现原理也很有帮助。
参照下图理解 gobject 对象。
深入浅出Gstreamer基础概念
是一个管道化多媒体框架。管道的属性 : 包含一系列不同功能的链接起来的元件以及元件之间的数据流动;管道的行为:包含一系列多媒体操作,如元件链接等。
一个元件,由时钟、衬垫、总线、状态等组成。
衬垫( pad )一个元件与外界通信的接口。
互相链接的元件构成一个箱柜 (BIN) BIN 作为一个整体,本身也可被认为是一个元件。
管道 (pipeline) 是一个特殊的 bin ,是最高级别的 bin
每一个 pipeline 都有一个默认的总线,该总线会在一个 mainloop 里去检查消息,并触发相应你的 callback ,实现与应用程序的通信。 Bus 含一个队列,每次 post 一个消息就加到队列里,然后出发 maincontext wakeup。 这样就完成了将消息路由到 maincontext 去了。因为 maincontext 等待的有这个 bus 队列。
Caps 代表一个媒体文件的能力,通常包括该文件的 mime 类型和多媒体属性。
bin 是一个装载元素集合的容器。管道是特殊的 bin 类型,允许执行其中的所有子元素。由于 bin 本身是元素子类( subclass ),通常可以像控制元素一样控制 bin ,从而简化应用程序。比如,可以通过改变 bin 本身的状态改变 bin 中所有元素的状态。 bin 还可以转发来自 bin 中的子元素的总线( bus )消息(例如错误消息,标签消息和 EOS 消息)。
管道是顶级 bin 。将它的状态设置为暂停( PAUSED )或播放( PLAYING )时,则数据流启动,媒体处理开始。启动后,管道将在一个单独的线程中运行,直到被停止或数据流结束。 数据流动是以缓冲传递来实际工作的。 Buffer 可以看成是一种容器,里边含 data events
事件是一种控制数据,能够在管道中上下流动。一般来说,上游的控制命令可能是真的在控制什么,来自下游的 events 可能大多数是些状态通知之类的
 
元件状态
NULL :默认状态,内部会释放单元的所有资源,其实就是初始状态。
READY :就绪状态,分配资源,打开设备。但是流不会打开,所以此时流信息都是零。如果之前打开了流,在这状态中将会被关闭,流信息都会被重设。
PAUSED :已经打开了流,但是暂时不处理它。这个时候可以去修改例如 seek 位置等流信息。时间轴停止
PLAYING :时间轴运行。设置为这个状态后,整个流程就开始启动了。内部会将消息发送从管道所在的线程转移到应用程序线程
抓住gstreamer核心

    Gstreamer Core,是gstreamer框架的骨干和核心。它提供的功能有

()提供一些组件类型的基类的实现,以及这些组件之间的通信规则;

()提供给应用程序创建媒体实例的API,以及保证实例运行的各种机API.

    Gstreamer  Core的本质是不在乎媒体文件是什么类型或什么格式的(media-agnostic),因为它不关心媒体编解码等具体细节。可以认为它是一个最高级的管理者和组织者,它提供了一个流媒体程序框架或者叫做蓝图,下属人员可以通过领会它的旨意去具体开展工作;你也可以理解它为一个服务供应商,提供了一切多媒体应用程序可能需要的元件,开发人员可以利用它来去实现自己的专属程序。Gstreamer在初始化时只注册了核心元件,包括binpipeline,用户需要以此为基础,实现自己的多样化的多媒体管道程序。多媒体应用程序的实现,需要用户自己利用好gstreamer,然后实现自己的东东。

  插件如何管理
 
把握core/plugin的重要联系
 
Core/ plugin 是不同的模块。他们的存在都是为特定的多媒体控制程序服务的。特定的 Plugin 主要由媒体控制开发者提供,而 core 是所有基于 gstreamer 程序的共同体。
Core 里用到的每个 element 实际就是一个插件,在 gst 中得到组装成一个 pipeline ,数据从源单元流向目的单元,完成整个流程。单元间是可以链接起来的(必须得链接起来以组成 pipeline .
应用程序通过 core 使用 factory_make gst_object_unref 函数来创建及释放元件。 make 需要两个参数,一个是工厂名,一个是单元名。工厂名实际就是插件名,所以需要先加载插件上来,才能创建对应的元件。作为工厂(插件),其功能还不仅限于创建元件,一个工厂有属性,它知道自己能创建怎样的元件。
 
Gstreamer核心类图
 
Gstreamer插件相关类图分析(可参考我上一篇文章)
Pipeline工作时序图
 
 
 

Smith先生版权所有,如需转载,请注明出处:http://blog.csdn.net/acs713/article/details/7777946

否者,保留追究其法律责任的权利

你可能感兴趣的:(多媒体)