新手学习FFmpeg - 调用API编写实现多次淡入淡出效果的滤镜

前面几篇文章聊了聊FFmpeg的基础知识，我也是接触FFmpeg不久，除了时间处理之外，很多高深(滤镜)操作都没接触到。在学习时间处理的时候，都是通过在ffmpeg目前提供的avfilter基础上面修修补补(补充各种debug log)来验证想法。 而这次我将尝试新创建一个avfilter，来实现一个新滤镜。 完整的代码可参考 https://andy-zhangtao.github.io/ffmpeg-examples/

因为我是新手，所以本着先易后难的原则(其实是不会其它高深API的操作)，从fade滤镜入手来仿制一个new fade(就起名叫做ifade)。

目标

fade是一个淡入淡出的滤镜，可以通过参数设置fade type(in表示淡入, out表示淡出)，在视频的头部和尾部添加淡入淡出效果。 在使用过程中，fade有一些使用限制。

• 淡入只能从片头开始设置(00:00:00.0位置起)
• 淡出只能从片尾开始设置
• 一次只能设置一个类型

如果想在一个视频中间设置多次淡入淡出效果，那么只能先分割视频，分别应该fade之后在合并(可能还有其它方式，可我没找到)。如果想一次实现多个fade效果，那么就要通过-filter-complex来组合多个fade，并合理安排调用顺序，稍显麻烦。

这次，ifade就尝试支持在同一个视频中实现多次fade效果。ifade计划完成的目标是:

• 一次支持设置一个类型(淡入/淡出)
• 一次支持设置多个fade时间点
• 支持fade时长

分析

先看看原版fade是如何实现的。

     1  static int filter_frame(AVFilterLink *inlink, AVFrame *frame)
     2  {
     3      AVFilterContext *ctx = inlink->dst;
     4      FadeContext *s       = ctx->priv;
     5      double frame_timestamp = frame->pts == AV_NOPTS_VALUE ? -1 : frame->pts * av_q2d(inlink->time_base);
     6
     7      // Calculate Fade assuming this is a Fade In
     8      if (s->fade_state == VF_FADE_WAITING) {
     9          s->factor=0;
    10          if (frame_timestamp >= s->start_time/(double)AV_TIME_BASE
    11              && inlink->frame_count_out >= s->start_frame) {
    12              // Time to start fading
    13              s->fade_state = VF_FADE_FADING;
    14
    15              // Save start time in case we are starting based on frames and fading based on time
    16              if (s->start_time == 0 && s->start_frame != 0) {
    17                  s->start_time = frame_timestamp*(double)AV_TIME_BASE;
    18              }
    19
    20              // Save start frame in case we are starting based on time and fading based on frames
    21              if (s->start_time != 0 && s->start_frame == 0) {
    22                  s->start_frame = inlink->frame_count_out;
    23              }
    24          }
    25      }
    26      if (s->fade_state == VF_FADE_FADING) {
    27          if (s->duration == 0) {
    28              // Fading based on frame count
    29              s->factor = (inlink->frame_count_out - s->start_frame) * s->fade_per_frame;
    30              if (inlink->frame_count_out > s->start_frame + s->nb_frames) {
    31                  s->fade_state = VF_FADE_DONE;
    32              }
    33
    34          } else {
    35              // Fading based on duration
    36              s->factor = (frame_timestamp - s->start_time/(double)AV_TIME_BASE)
    37                              * (float) UINT16_MAX / (s->duration/(double)AV_TIME_BASE);
    38              if (frame_timestamp > s->start_time/(double)AV_TIME_BASE
    39                                    + s->duration/(double)AV_TIME_BASE) {
    40                  s->fade_state = VF_FADE_DONE;
    41              }
    42          }
    43      }
    44      if (s->fade_state == VF_FADE_DONE) {
    45          s->factor=UINT16_MAX;
    46      }
    47
    48      s->factor = av_clip_uint16(s->factor);
    49
    50      // Invert fade_factor if Fading Out
    51      if (s->type == FADE_OUT) {
    52          s->factor=UINT16_MAX-s->factor;
    53      }
    54
    55      if (s->factor < UINT16_MAX) {
    56          if (s->alpha) {
    57              ctx->internal->execute(ctx, filter_slice_alpha, frame, NULL,
    58                                  FFMIN(frame->height, ff_filter_get_nb_threads(ctx)));
    59          } else if (s->is_packed_rgb && !s->black_fade) {
    60              ctx->internal->execute(ctx, filter_slice_rgb, frame, NULL,
    61                                     FFMIN(frame->height, ff_filter_get_nb_threads(ctx)));
    62          } else {
    63              /* luma, or rgb plane in case of black */
    64              ctx->internal->execute(ctx, filter_slice_luma, frame, NULL,
    65                                  FFMIN(frame->height, ff_filter_get_nb_threads(ctx)));
    66
    67              if (frame->data[1] && frame->data[2]) {
    68                  /* chroma planes */
    69                  ctx->internal->execute(ctx, filter_slice_chroma, frame, NULL,
    70                                      FFMIN(frame->height, ff_filter_get_nb_threads(ctx)));
    71              }
    72          }
    73      }
    74
    75      return ff_filter_frame(inlink->dst->outputs[0], frame);
    76  }

不想贴代码，但发现不贴代码好像很难表述清楚。-_-！

fade在处理fame时最关键的是三种状态和一个变量因子。

三种状态:

• VF_FADE_WAITING 待渲染, 初始状态
• VF_FADE_FADING 渲染中
• VF_FADE_DO 渲染结束

变量因子:

• factor 控制效果强度

假设现在设置的是淡入效果(如果是淡出效果，52行会实现一个反转)): s->fade_state初始化状态是VF_FADE_WAITING，滤镜工作时就会进入第八行的判断，此时将s->factor设置为0。如果我们假设淡入的背景颜色是黑色(默认色)，当s->factor==0时，渲染强度最大，此时渲染出的就是一个纯黑的画面。

第八行的if判断是一个全局初始化，一旦进入之后，s->fade_status就会被修改为VF_FADE_FADING状态。

而26到43行的判断，是为了找到渲染结束时间点。通过不停的判断每帧的frame_timestamp和start_time+duration之间的关系(通过start_frame同理)，来决定是否结束渲染。start_time是由fade st=xxx来设定的，当到达结束时间点后，将s->fade_status变更为VF_FADE_DO，即可结束渲染(其实是将s->factor置为UINT16-MAX，这样就不会进入到第55行的渲染逻辑)。

fade大致的处理流程如下:

     +------------------------------------------------------------------------------------------------------------- +
     |                                                                                                              |
     |       |----------------------------------------------------------|------------------|-------------------->   |
     |time   0                                                          st             st+duration                  |
     |                                                                                                              |
     |status VF_FADE_WAITING                                                                                        |
     |                               VF_FADE_FADING                                                                 |
     |                                                              VF_FADE_DO                                      |
     |factor 0       0        0         0              0        0       100  500 4000 ...  65535  65535  65535 65535|
     |                                                                                                              |
     +--------------------------------------------------------------------------------------------------------------+

在0->st这段时间内，status一直是VF_FADE_FADING状态，factor是0。 这段时间内渲染出来的全是黑色。到达st点后，开始逐步调整factor的值(不能一次性的调整到UINT16-MAX，要不就没有逐渐明亮的效果了)，直到st+duration这个时间后，在将factor调整为UINT16-MAX。以后流经fade的帧就原样流转到ff_filter_frame了。

改造

分析完fade的处理逻辑之后，如果要实现ifade的效果，那么应该是下面的流程图：

     +------------------------------------------------------------------------------------------------------------------+
     |                                     A                  B                C                  D                     |
     |       |-----------------------------|------------------|----------------|------------------|-------------------->|
     |time   0                            st1               st2-duration      st2            st2+duration               |
     |                                                                                                                  |
     |status    VF_FADE_FADING                                                                                          |
     |                                VF_FADE_DO                                                                        |
     |                                                                                                                  |
     |                                                  VF_FADE_FADING                                                  |
     |                                                                                          VF_FADE_DO              |
     |factor 0       0        0           65535     65535    0  0 0  0 0 0 0 0 100  500 4000 ... 65535                  |
     |                                                                                                                  |
     +------------------------------------------------------------------------------------------------------------------+

从0-A点仍然是fade原始逻辑。到达A点之后，将s->fade_status改完VF_FADE_DO表示关闭渲染。 当到达B点时(距离st2还有duration的时间点)，开始将s->factor调整为0. 这是为了模拟出画面从暗到亮的效果。同时s->fade_status再次置为VF_FADE_FADING状态，到达C点是开始重新计算s->factor的值，将画面逐渐变亮。

可以看出ifade就是利用s->fade_status重复利用现有的处理逻辑来实现多次淡入的效果。

实现

上面分析完之后，就可以动手写代码了。 具体代码就不贴出来了，可以直接看源码。 下面就说几个在ffmpeg 4.x中需要注意的地方：

• 添加新avfilter

  • 在libavfilter/Makefile中添加新filter名称。 OBJS-$(CONFIG_IFADE_FILTER) += vf_ifade.o
  • 在libavfilter/allfilter.c中添加新filter. extern AVFilter ff_vf_ifade

• 重新生成makefile

  • 重新根据实际情况执行configure，生成最新的makefile脚本

然后就是漫长的等待。

在编写filter时，ffmpeg提供了AVFILTER_DEFINE_CLASS这个宏来生成默认的avclass和options，所以一定要注意class名称和options名称要和宏定义中的名字保持一致，否则会导致编译失败。