【ffmpeg-libav-tutorial】ffmpeg中同步音视频流

音视频同步

在转码之前，我门先来谈谈时间。换句话说播放器是如何实现音视频同步的，如何知道在什么时间播放一帧。
上一个例子中，我门保存了一些帧。

我们希望播放器以一定的节奏打印每个帧而不至于播放得太快或者太慢。因此我们需要引入一些机制来使播放流畅。为了达到这个目的，每个帧都有一个显示时间（pts），它是个递增的数据，并且是以一个时间基为基准，该时间基是一个有效数（他的分母被称为时间尺度）可以被帧率整除。
举几个例子。
对个一个fps=60，时间基为1/60000的视频来说，每个pts就会增加1000，因此每个帧的PTS会呈现以下一个趋势

• frame=0, PTS = 0, PTS_TIME = 0
• frame=1, PTS = 1000, PTS_TIME = PTS * timebase = 0.016
• frame=2, PTS = 2000, PTS_TIME = PTS * timebase = 0.033
  而如果时间基等于1/60那么
• frame=0, PTS = 0, PTS_TIME = 0
• frame=1, PTS = 1 PTS_TIME = PTS * timebase = 0.016
• frame=2, PTS = 2, PTS_TIME = PTS * timebase = 0.033
  对于一个fps=25，timebases=1/75的视频来说，PTS会以3的大小进行递增，那么
• frame=0, PTS = 0, PTS_TIME = 0
• frame=1, PTS = 3 PTS_TIME = PTS * timebase = 0.04
• frame=2, PTS = 6, PTS_TIME = PTS * timebase = 0.08
• frame=3, PTS = 9, PTS_TIME = PTS * timebase = 0.12
• …
• frame=24, PTS = 72, PTS_TIME = PTS * timebase = 0.86
• …
• frame=4096, PTS = 12192, PTS_TIME = PTS * timebase = 162.56
  有了PTS后，就能通过PTS来实现音视频的时间同步，可以通过pts_time的方式或者系统时钟的方式进行同步。ffmpeg中提供了以下的信息。

fps = AVStream->avg_frame_rate
tbr = AVStream->r_frame_rate
tbn = AVStream->time_base

在测试的过程中，可以发现，我们发送去解码的顺序是按照DTS的顺序去解码的，而接收的时候则是按照PTS的顺序接收的