GStreamer基础教程14——常用的element

目标

      本教程给出了一系列开发中常用的element。它们包括大杂烩般的eleemnt（比如playbin2）以及一些调试时很有用的element。

      简单来说，下面用gst-launch这个工具给出一个个具体例子（命令行），你可以用-v参数可以看到Pad得Caps是如何协商的。

Bins

      这些是Bin element，它们在内部包含其他的element，已经组成了内部的pipeline，但在外部，我们还是把它们当成一个element。

Playbin2

      这个element在整个系列的教程里面广泛的被使用了。它会处理播放的方方面面，从源经过解复用、解码到最后的显示。同时它也非常灵活，有很多设置项，在后面有教程会更详细的讲述到。

uridecodebin

      这个element从一个URI获得数据然后解码成原始媒体数据。它会选择一个能处理给定的URI的source element，然后和decodebin2连接起来。它在一个媒体里面发现多少流就提供多少source pad来输出，这点和解复用很像。

gst-launch-0.10 uridecodebin uri=http://docs.gstreamer.com/media/sintel_trailer-480p.webm ! ffmpegcolorspace ! autovideosink

gst-launch-0.10 uridecodebin uri=http://docs.gstreamer.com/media/sintel_trailer-480p.webm ! audioconvert ! autoaudiosink

decodebin2

      这个element会自动用解复用插件和解码插件创建解码pipeline。它被使用起来更方便的uridecodebin作为一个source element集成在自己内部了。以前还有一个旧的decodebin，目前已经废弃不用了。和uridecodebin一样，它也是在媒体里面发现多少流就提供多少source pad来输出。

gst-launch-0.10 souphttpsrc location=http://docs.gstreamer.com/media/sintel_trailer-480p.webm ! decodebin2 ! autovideosink

文件输入/输出

filesrc

      这个element会读取一个本地文件然后用Caps来输出媒体数据。如果你想要获得一个正确地Caps，那么需要用typefind element来搜索流或者把filesrc的typefind属性设置成TRUE。

gst-launch-0.10 filesrc location=f:\\media\\sintel\\sintel_trailer-480p.webm ! decodebin2 ! autovideosink

filesink

      这个element会把所有收到的媒体数据存成文件。使用location属性来指定路径和文件名。

gst-launch-0.10 audiotestsrc ! vorbisenc ! oggmux ! filesink location=test.ogg

Network

souphttpsrc

      这个element作为一个客户端，使用SOUP库经由HTTP来接收数据。通过location属性来设置URL。

gst-launch-0.10 souphttpsrc location=http://docs.gstreamer.com/media/sintel_trailer-480p.webm ! decodebin2 ! autovideosink

测试媒体数据生成

      这些element在测试pipeline是否工作时是非常有用的，它们是确保可以工作生成数据的，所以可以取代数据源。

videotestsrc

      这个element生成一个固定的video输出（通过pattern属性来设置），用来测试视频的pipeline。

gst-launch-0.10 videotestsrc ! ffmpegcolorspace ! autovideosink

audiotestsrc

      这个element生成一个音频信号（通过设置wave属性来设置），用来测试音频的pipeline。

gst-launch-0.10 audiotestsrc ! audioconvert ! autoaudiosink

视频适配

ffmpegcolorspace

      这个element会把一个色彩空间转换到另一个色彩空间（比如从RGB转到YUV）。它也可以在转换不同的YUV格式或者RGB格式。

      通常来说，在解决协商问题时，这个element是你的第一选择。当上游element和下游element是兼容的时候，这个element就是直通的，所以对性能的影响几乎是不存在的。

      作为一个习惯，当你用一个不知道Caps的element的时候，总是可以用一下ffmpegcolorspace，就像autovideosink一样。

st-launch-0.10 videotestsrc ! ffmpegcolorspace ! autovideosink

videorate

      这个element接受带时间戳的视频数据转换成匹配source pad帧率的流。通过丢弃或者复制帧来执行改正，而不是通过古怪的算法。

      这个在连接不同帧率的element时很有用。正如其他的适配插件，如果不需要的话会直通过去（上下游element能匹配上）。

      如果实际帧率未知的情况下，为了以防万一，使用这个element是个不错的主意。

gst-launch-0.10 videotestsrc ! video/x-raw-rgb,framerate=30/1 ! videorate ! video/x-raw-rgb,framerate=1/1 ! ffmpegcolorspace ! autovideosink

videoscale

      这个element可以修改视频帧的尺寸。这个element会先检查不修改视频尺寸是否可行，如果可行，就不在进行尺寸的转换。所以在pipeline中加入这个element是安全的，可以提高鲁棒性。

      这个element支持很多色彩空间，包括不同的YUV和RGB格式。而且可以放在pipeline的任何地方。

      如果视频是往一个用户控制的窗口输出时，加上videoscale这个element是个好主意，因为并不是所有的视频输出都是支持缩放的。

gst-launch-0.10 uridecodebin uri=http://docs.gstreamer.com/media/sintel_trailer-480p.webm ! videoscale ! video/x-raw-yuv,width=178,height=100 ! ffmpegcolorspace ! autovideosink

音频适配

audioconvert

      这个element会转化原始的不同音频格式之间的缓冲。它支持从整数到浮点数的转化，符号数/字节序转换以及声道转换。

      正如ffmpegcolorspace对于视频做的一样，这个element使用很安全，你可以用来解决音频不匹配的问题。

gst-launch-0.10 audiotestsrc ! audioconvert ! autoaudiosink

audioresample

      这个element使用可配置的窗口函数重采样音频缓冲到不同的采样率来增强质量。

      同样地，它可以解决采样率的问题，同时不需要担心出错。

gst-launch-0.10 uridecodebin uri=http://docs.gstreamer.com/media/sintel_trailer-480p.webm ! audioresample ! audio/x-raw-float,rate=4000 ! audioconvert ! autoaudiosink

audiorate

      这个element接受带时间戳的音频帧，然后通过增加或者降低采样来获得一个标准流。它不能修改采样率，只能通过移除重叠部分和填充空白部分来获得连续“干净”的输出。

      当时间戳丢失接收器要求所有的采样同时渲染时这个element比较有用。这个很难给出一个例子，所以就省略了。

多线程

queue

      queue已经在《GStreamer基础教程07——多线程和Pad的有效性》里面介绍过了。基本上，一个queue执行两个任务：

      数据可以一直放进队列直到满为止

      queue会给source pad创建一个新的线程，这样就可以解耦对于sink和source pad的处理

      另外，queue在变空或满的时候会触发信号，可以抛弃一些缓冲数据来避免阻塞。

      如果你不面临网络缓冲的困境，那么使用更简单的queue element而不是queue2，具体例子同样参考《GStreamer基础教程07——多线程和Pad的有效性》

queue2 

      这个element不是queue的进化版本。它和queue有同样地设计目标，但实现方法不同，这也导致了一些功能不太一致。不幸的是，通常来说很难说孰优孰劣。

      queue2同样执行了上面列出的queue的两个任务，此外，还可以把收到的数据存在硬盘上。它同时用更通用更方便的缓冲消息来取代了空/满这些信号，这个缓冲消息在《GStreamer基础教程12——流》里面描述过了。

      当涉及到网络缓冲时，请使用queue2而不是queue。请参考《GStreamer基础教程12——流》。

multiqueue

      这个element可以对多个流同时提供queue，并且简化对流的管理。此外，它可以同步不同的流，确保任何一个流都不会运行的特别快。

      这是一个先进的element。decodebin2里面包含着这个element，你在一个通常的播放应用里面很少会直接使用。

tee

      在《GStreamer基础教程07——多线程和Pad的有效性》这篇里面，我们已经演示了如何使用tee这个element。把数据分成相同的多份是非常有用的，比如，可以同时在屏幕上播放图像和保存文件到硬盘。

      在每个分支上使用独立的playbin2 element，提供相互独立的线程。否则一旦数据在一个分支上阻塞了，那么其它分支也会停止。

gst-launch-0.10 audiotestsrc ! tee name=t ! queue ! audioconvert ! autoaudiosink t. ! queue ! wavescope ! ffmpegcolorspace ! autovideosink

能力

capsfilter

      在《GStreamer基础教程10——GStreamer工具》里面已经解释了gst-launch怎么使用Caps过滤。当我们编程实现一个pipeline时，Caps过滤通常用capsfilter这个element来实现。这个element不会修改数据，但会限制数据的类型。

gst-launch-0.10 videotestsrc ! video/x-raw-gray ! ffmpegcolorspace ! autovideosink

typefind

      这个element决定了一个流所包含的媒体的类型。它按照他们的等级调用typefind函数。一旦检测到，它就会把source pad设置成发现的媒体类型，然后发出have-type信号。

      decodebin2这个element内部就包含了typefind，虽然我们通常是使用GstDiscoverer来获得更多地信息，但你也可以用这个element来确定媒体类型。

调试

fakesink

      这个sink element仅仅简单的抛弃所有输入的数据。在调试过程中它是很有用的，你可以用它来取代你想使用的sink来确保不会出现意外。它在gst-lauch命令行并出现-v参数后会显得非常冗余，如果你觉得无用信息太多，那么可以设置silent属性。

gst-launch-0.10 audiotestsrc num-buffers=1000 ! fakesink sync=false

identity

      这是一个哑巴element仅仅把输入数据不加修改的传过来。它也有一些有用的调试函数，例如偏移量和时间戳检测，或者丢弃缓冲。想要进一步了解请阅读它的文档。

gst-launch-0.10 audiotestsrc ! identity drop-probability=0.1 ! audioconvert ! autoaudiosink