ffmpeg中的时间戳与时间基

前言

在开发多媒体播放器或直播系统时,音视频的同步是非常关键且复杂的点。要想把音视频同步搞明白,我们必须要了解一些基本的知识。只有了解了这些基本知识,才能为你打下理解音视频同步的基础。
本文将从下面几个主题介绍这些知识点:

  • I/B/P帧
  • PTS/DTS
  • 时间基
  • ffmpeg的内部时间基
  • 不同时间基的换算

I/B/P帧

对于 I帧,B帧,P帧,我想很多人对它们已经了解的很多了。

  • I帧是关键帧,它采用帧内压缩技术;
  • B帧是前后参考帧,它属由帧间压缩技术。也就是说在压缩成 B帧前,它会参考它前面的非压缩视频帧,和后面的非压缩的视频帧,记录下前后两帧都不存放的“残差值”,这样可以达到更好的压缩率;
  • P帧是向前参考帧,也就是它参考的是前一个关键帧的数据。P帧也属于帧间压缩技术,相对于 B帧来说,P帧的压缩率要比B帧低。

但在实时互动直播系统中,很少使用B帧。主要的原因是压缩和解码B帧时,由于要双向参考,所以它需要缓冲更多的数据,且使用的CPU也会更高。由于实时性的要求,所以一般不使用它。不过对于播放器来说,遇到带有B帧的H264数据是常有的事儿。

对于 H264 编码原理相关的知识请看我的免费视频课《移动端音视频入门》

PTS/DTS

有了上面 I/B/P帧的概念,我们再来理解 PTS/DTS 就非常容易了。PTS(Presentation TimeStamp)是渲染用的时间戳,也就是说,我们的视频帧是按照 PTS 的时间戳来展示的。DTS(Decoding TimeStamp)解码时间戳,是用于视频解码的。

那为什么有了 PTS 还要有 DTS呢?这就与我们上面所讲的 I/B/P帧有关了。如果我们的视频中没有B帧,那显示的帧的顺序与存放的帧的顺序是一样的,此时PTS与DTS 的值就是一样的,也就没有存在两个时间戳的必要了。

但有了B帧之后,就不是这个样子了。我们举个简单的例子:

第一行,实际应展示的顺序:I    B    B    P
第二行,实际在存放的顺序:I    P    B    B
第三行,按实际顺序号展示:1    4    2    3
第四行,按实际顺序号展示:1    2    3    4

对于上面这个例子我们作下说明:

  1. 我们实际应该展示的帧的顺序是 I, B, B, P 帧解码后的视频帧。
  2. 但实际上,这些帧到达之后,在缓冲区里就按照第二行的样子存放的。为什么会这样呢?这是由于我上面所讲的,P帧参考的是 I帧,B帧是双向参考帧。也就是说,如果 I帧和P帧没有解码的话,B帧是无法进行解码的。基于此,为了解决这个问题就出现了 PTS和DTS两个时间戳。
  3. 第三行是视频帧真正的解码顺序,先解 I帧,然后是P帧,然后是第一个B帧,最后是第二个B帧。
  4. 最终的展示顺序是 I帧解码后的视频帧,第一个B帧解码后的视频帧,第二个B帧解码后的视频帧,最后是P帧解码后的视频帖。

时间基

有了时间戳之后,最终进行展示时还要需要将 PTS时间戳转成以秒为单位的时间。那这里需要向大家介绍一下 ffmpeg的时间基。

我们在执行 ffmpeg/ffplay命令时,可以通过控制台看到几个参数,分别是 tbr, tbn, tbc。这几个值是什么含义呢?其实就是不同的时间基。

  • tbr: 是我们通常所说的帧率。time base of rate
  • tbn: 视频流的时间基。 time base of stream
  • tbc: 视频解码的时间基。time base of codec

在ffmpeg中,不同的时间戳对应不同的时间基。对于视频的渲染我们使用的是视频流的时间基,也就是 tbn。那我们如何理解时间基呢?其实非常简单,就是时间刻度。我们以帧率为例,如果每秒钟的帧率是 25帧,那么它的时间基(时间刻度)就是 1/25。也就是说每隔1/25 秒后,显示一帧。

所以如我们当前的时间是 100, 时间基是 1/25,那么转成秒的时间是多少呢? 100*时音基(1/25),也就是100 * 1/25 = 4秒。是不是非常的简单?

ffmpeg内部时间基

除了我上面所讲的几个时间基之外,ffmpeg内部还有一个时间基。即我们通过所见到的 AV_TIME_BASE。它在ffmpeg内部定义如下:

#define         AV_TIME_BASE   1000000

它还有一种分数所表式法:

#define         AV_TIME_BASE_Q   (AVRational){1, AV_TIME_BASE}

在 ffmpeg中进行换算,将不同时间基的值转成按秒为单位的值计算如下:

timestamp(秒) = pts * av_q2d(time_base)

这里引入了 av_q2d 这个函数,它的定义非常简单:

typedef struct AVRational{
int num; //numerator
int den; //denominator
} AVRational;

static inline double av_q2d(AVRational a){
/**
* Convert rational to double.
* @param a rational to convert
**/
    return a.num / (double) a.den;
}

从这里我们可以看到,它与我上面所讲的公式是一样的。

不同时间基的换算

在上面我向大家介绍了 ffmpeg有好几种不同的时间基,有时候我们需要在不同的时间基之间做换算。ffmpeg为我们提供了非常方便的函数。即

av_rescale_q()

av_rescale_q(a,b,c)的作用是,把时间戳从一个时基调整到另外一个时基时候用的函数。其中,a 表式要换算的值;b 表式原来的时间基;c表式要转换的时间基。其计算公式为 a * b / c

既然公式这么简单,我们自己写就OK了,为什么ffmpeg还要单独提供一个函数呢?其实这个看似简单的方法,还要考虑数值溢出的问题。所以把这块的逻辑加上之后,就没我们看到的这么简单了。不过没关系,我们只要清楚 av_rescale_q 是做什么的,怎么用就可以了。

下面我再给出两个算计公式:

  • 时间戳转秒
    time_in_seconds = av_q2d(AV_TIME_BASE_Q) * timestamp
    
  • 秒转时间戳
    timestamp = AV_TIME_BASE * time_in_seconds
    

小结

以上我通过几个主题向大家介绍了ffmpeg中的时间戳与时间基,以及音视频同步的基本知识。通过本文大家会了解到,其实ffmpeg中的时间戳与时间基并不复杂。但就是这些不复杂的知识点的交互最终完成了音视频的同步。

参考

如果大家想进一步了解音视频同步相关的知识可以去看我的视频课《FFmpeg音视频核心技术精讲与实战》。在这门课里我对音视频的同频做了非常详尽的介绍。

 

你可能感兴趣的:(ffmpeg)