FFmpeg-4.0 的filter机制的架构与实现.之一 Filter原理

一、FFmpeg filter的原理

1. 引言及示例

FFmpeg中的libavfilter提供了一整套的基于filter的机制。

filter本身是一个插件的形式，可以快速的组装需要的效果。

比如下面的filter，可以实现视频的水平镜像效果。

ffplay.exe sample.rmvb -vf hflip

 

1.1 FFmpeg为什么重新定义filter API？

FFmpeg定义的libavcodec接口已经成为在编解码领域的事实上的行业标准。

但音视频filter并没有类似的标准，多个不同的多媒体项目（比如MPlayer、Xine、GStreamer等）都实现了自定义的filter系统。

为了统一filter库API接口，FFmpeg提出了参考DirectDraw实现了高质量、高效、灵活的音视频filter接口。

 

 

1.2 传统概念上filter是什么？

filter可以翻译成过滤器，滤镜、滤波器。物理概念上，常见的过滤器跟净化器概念重复，比如滤水器、空气净化器等。

• 在计算机程序中，filter是指一段代码，可用于检查输入或者输出，按照预定的规则处理并传递这些数据。

换种说法，filter是一种传递（pass-through）代码块，将输入数据做特定的变换并输出。

通常filter自身不做任何输入/输出。

举个例子，linux下的grep可以认为是一个filter，按照正则表达式匹配选择，从输入中选择输出数据。

• 在电信工程领域，filter通常指的用于信号处理的设备，

比如音频处理比较典型的低通滤波器、高通滤波器、带通滤波器、去噪滤波器等。

 

1.3 filter的分类

按照处理数据的类型，通常多媒体的filter分为：

• 音频filter
• 视频filter
• 字幕filter

另一种按照处于编解码器的位置划分：

• prefilters: used before encoding
• intrafilters: used while encoding (and are thus an integral part of a video codec)
• postfilters: used after decoding

FFmpeg中filter分为：

• source filter （只有输出）
• audio filter
• video filter
• Multimedia filter
• sink filter （只有输入）

除了source和sink filter，其他filter都至少有一个输入、至少一个输出。

 

1.4 示例

下面也是一个例子，使用filter实现宽高减半显示：

ffplay.exe sample.rmvb -vf scale=iw/2:ih/2

 

下面是使用mptestsrc的source filter作为ffplay输入，直接显示：

ffplay -f lavfi mptestsrc=t=dc_luma

ffplay -f lavfi life=s=300x200:mold=10:r=60:ratio=0.1:death_color=#C83232:life_color=#00ff00,scale=1200:800:flags=16

 

 

2. 基本原理

FFmpeg filter可以认为是一些预定义的范式，可以实现类似积木的多种功能的自由组合。

每个filter都有固定数目的输入和输出，而且实际使用中不允许有空悬的输入输出端。

使用文本描述时我们可以通过标识符指定输入和输出端口，将不同filter串联起来，构成更复杂的filter。这就形成了嵌套的filter。

当然每个filter可以通过ffmpeg/ffplay命令行实现，但通常filter更方便。

ffmpeg.exe、ffplay.exe能够通过filter处理原始的音视频数据。

ffmpeg将filtergraph分为simple filtergraph和complex filtergraph。

 

通常simple filtergraph只有一个输入和输出，ffmpeg命令行中使用-vf、-af识别，

基本原理图如下：

 

complex filtergraph，通常是具有多个输入输出文件，并有多条执行路径；

ffmpeg命令行中使用-lavfi、-filter_complex，基本原理图如下：

 

在libavfilter, 一个filter可以包含多个输入、多个输出。

下图是一个filtergraph的示例：

上图中filtergraph将输入 流(INPUT) 分成两个流(分别是main 和 tmp )，

其中一个（即tmp）通过crop filter和vflip filter,它们的输出命名为 (flip)

另一个(即main)不做处理；

然后通过overlay filter将这两个流（即 main 和 flip）合成一个流输出（OUTPUT）。

 

这个filtergraph可以用下面命令行表示：

ffmpeg -i INPUT -vf "split [main][tmp]; [tmp] crop=iw:ih/2:0:0, vflip [flip]; [main][flip] overlay=0:H/2" OUTPUT

 

3. Filter的语法

FFmpeg中filter包含三个层次，filter->filterchain->filtergraph。

具体可以参考下图：

 

上图中，

第一层是 filter 的语法；

第二层是 filterchain的语法；

第三层是 filtergraph的语法。

 

3.1 Filter 的语法

[input_link_label_1][input_link_label_2] ...

filter_name=param_name1=param_value1:param_name2=param_value2

[ouput_link_lable_1][output_link_label_2]...

 

其中：

[input_link_label_X] ：指以 label 标识的Filter的输入，label可以随意命令，它是可选的，可以有多个,用方括号分隔；

filter_name : 是fliter的名称， 必须有；它的参数是可选 的，以":"分隔或"+"号，可以有参数名，也可以没有；

[output_link_label_X] : 指以 label 标识的Filter的输入，label可以随意命令，它是可选的， 可以有多个,用方括号分隔；

 

没有音频、视频输入的filter称为source filter;

没有音频、视频输出的filter称为sink filter。

 

例如：

ffmpeg -i video.avi

-filter_complex 'extractplanes=y+u+v[y][u][v]' -map '[y]' y.avi -map '[u]' u.avi -map '[v]' v.avi

这个抽取视频Y、U、V分量的filter，就有三个输出，分别是 [y][u][v]， 抽取后，将不同的输出保存到不同的文件中；

 

例如：

ffmpeg -i video.avi -vf 'delogo=x=0:y=0:w=100:h=77:band=10' output.avi

 

3.2 filterchain的语法

filter1,filter2,....

它是多个filter的组合，以逗号分隔；并且每个filter是输入是前一个filter的输出；

 

例如：

ffmpeg -i audio.aac

-filter_complex "aresample=async=16000,adelay=316397,volume=1.0" -acodec libfdk_aac -y output.mp4

这里用到了三个filter，分别的aresample, adelay, volume, 组成一个filterchain;

 

 

3.3 filtergraph的语法

filterchain1;filterchain2;...

它是多个filterchain的组合，以分号";"分隔，

 

例如：

ffmpeg -i INPUT -filter_complex "split [main][tmp]; [tmp] crop=iw:ih/2:0:0, vflip [flip]; [main][flip] overlay=0:H/2" OUTPUT

这里用到了三个filterchain, 分别是：

split [main][tmp]; // 它只有一个filter,即 split； 它有一个默认的输入，即INPUT解码后的frame;

有两个输出, 以 [main], [tmp] 标识；

[tmp] crop=iw:ih/2:0:0, vflip [flip] // 它由两个filter组成，即crop和vflip；一个输入 [tmp]， 一个输出[flip]；

[main][flip] overlay=0:H/2 // 它由一个filter组成，即overlay， 有两输入，分别是[main][flip], 一个默认的输出;