ffplay 外部时钟同步的原理

概述

ffplay有三种同步方式：1、音频作为主时钟；2、视频作为主时钟；3、外部时钟源作为主时钟。默认的同步方式为“音频作为主时钟”方式，具体代码分析可查阅:https://blog.csdn.net/lyy901135/article/details/95307111

音频作为主时钟时，视频pts向音频的pts看齐，若视频播放延迟，则需进行丢帧处理。视频作为主时钟时，音频需向视频的pts看齐，要音频播放延迟/超前，则需对音频样本进行缩放。本文主要介绍第三种同步方式：外部时钟源作为主时钟。

视频同步方式的选择

使用ffplay的-sync参数可指定音视频同步的种类，比如如下命令选择外部时钟作为主时钟。

ffplay ~/Videos/Sintel.2010.720p.mkv -sync ext

原理说明

外部时钟更新的时机

初始时，外部时钟源pts初始化为NAN，后续该外部时钟源的字段的更新都是通过sync_clock_to_slave()完成。音频或视频帧在分别更新自己对应的时钟时，也会调用sync_clock_to_slave()尝试对外部时钟做更新。

为何上文说是尝试对外部时钟进行更新？是因为在sync_clock_to_slave()代码中我们可以看到更新规则：

1、外部时钟pts非法，从属时钟（音频/视频）的pts有效时更新。
2、外部时钟pts与从属时钟的时间差值超过AV_NOSYNC_THRESHOLD（10秒），则对外部时钟进行更新。

static void sync_clock_to_slave(Clock *c, Clock *slave)
{
    double clock = get_clock(c);
    double slave_clock = get_clock(slave);
    /* 仅当下列条件满足时，才会更新外部时钟 */
    if (!isnan(slave_clock) && (isnan(clock) || fabs(clock - slave_clock) > AV_NOSYNC_THRESHOLD))
        set_clock(c, slave_clock, slave->serial);
}

由于外部时钟初始化时为NAN，因此第一帧音频（视频）播放时，会满足第1个条件，从而调用set_clock()更新了外部时钟。我们展开函数进行分析可知，第一帧有效帧播放后，外部时钟的字段分别对应的值（如下代码注释）

static void set_clock_at(Clock *c, double pts, int serial, double time)
{
	/* 第一个有效帧对应的pts，以音频为例，此时对应的就是第一帧播放时，音频clock的时间值 */
    c->pts = pts;
    
    /* 第一帧有效帧播放时的系统时间 */
    c->last_updated = time;
    
    /* 当前时刻，外部时钟的时间值（pts）与系统时间值之差
	 * 一定注意是当前时刻，后续时间点计算都是根据此值作为基准来计算。
	 * 每隔10秒才会更新这个基准时间。
	 */
    c->pts_drift = c->pts - time;
    c->serial = serial;
}

static void set_clock(Clock *c, double pts, int serial)
{
    double time = av_gettime_relative() / 1000000.0;
    set_clock_at(c, pts, serial, time);
}

函数sync_clock_to_slave()被调用的地方：

static void update_video_pts(VideoState *is, double pts, int64_t pos, int serial) {
    /* update current video pts */
    set_clock(&is->vidclk, pts, serial);
    /* 视频时钟更新时，尝试更新外部时钟 */
    sync_clock_to_slave(&is->extclk, &is->vidclk);
}

/* prepare a new audio buffer */
static void sdl_audio_callback(void *opaque, Uint8 *stream, int len)
{
    ............
    
    /* Let's assume the audio driver that is used by SDL has two periods. */
    if (!isnan(is->audio_clock)) {
        set_clock_at(&is->audclk, is->audio_clock - (double)(2 * is->audio_hw_buf_size + is->audio_write_buf_size) / is->audio_tgt.bytes_per_sec, is->audio_clock_serial, audio_callback_time / 1000000.0);
        /* 音频时钟更新时，尝试更新外部时钟 */
        sync_clock_to_slave(&is->extclk, &is->audclk);
    }
}

外部时钟时间轴特性

了解到外部时钟更新时机，笔者就很迷惑了。既然作为同步的基准时间轴，那肯定要不停的增长，而且这个增长还必须是有规律的（比如像自然时间一样，一秒一秒的增长）。但是刚才看到确实是每隔10秒才更新一次外部时间，那这10秒内的音视频要怎么同步？

带着这个疑问，我们分别看下视频与音频如何与主时钟进行同步，首先是视频同步的代码，具体同步原理可参见：https://blog.csdn.net/lyy901135/article/details/95307111

static double compute_target_delay(double delay, VideoState *is)
{
    double sync_threshold, diff = 0;

    /* update delay to follow master synchronisation source */
    if (get_master_sync_type(is) != AV_SYNC_VIDEO_MASTER) {
        /* if video is slave, we try to correct big delays by duplicating or deleting a frame */
        /* 与主时钟对比，获取时间差 */
        diff = get_clock(&is->vidclk) - get_master_clock(is);
        ........
	}
	........
}

音频同步代码如下，根据与主时钟的差距，计算出当前需要多少帧音频样本，然后根据这个计算所得的音频样本数，对原始音频进行缩放。

/* return the wanted number of samples to get better sync if sync_type is video
 * or external master clock */
static int synchronize_audio(VideoState *is, int nb_samples)
{
    int wanted_nb_samples = nb_samples;

    /* if not master, then we try to remove or add samples to correct the clock */
    if (get_master_sync_type(is) != AV_SYNC_AUDIO_MASTER) {
		............
		
		/* 与主时钟对比，获取时间差 */
        diff = get_clock(&is->audclk) - get_master_clock(is);
		
		.........
    }

    return wanted_nb_samples;
}

上面均调用了get_master_clock来获取此时主时钟的时间值，当前主时钟为外部时钟。我们继续看下这个时间值是怎么计算的。从下面代码可以看出整个原理，其实外部时钟就是一开始记录了第一帧的pts，以及第一帧的系统时间（假定为T0，则代码中pts_drift = pts-T0）。如果当前时钟假定为T1，那么此时主时钟的时间就应该为

pts + (T1 - T0) = (pts - T0) + T1 = pts_drift + T1

T1-T0表示用系统时间，计算从开始到现在的总时长。pts表示第一帧播放的时刻，那么pts+T1-T0，就表示当前时刻的pts值，这个值则可以用于音频/视频的clock对比。

/* get the current master clock value */
static double get_master_clock(VideoState *is)
{
    double val;

    switch (get_master_sync_type(is)) {
        case AV_SYNC_VIDEO_MASTER:
            val = get_clock(&is->vidclk);
            break;
        case AV_SYNC_AUDIO_MASTER:
            val = get_clock(&is->audclk);
            break;
        default:
            val = get_clock(&is->extclk);
            break;
    }
    return val;
}

static double get_clock(Clock *c)
{
    if (*c->queue_serial != c->serial)
        return NAN;
    if (c->paused) {
        return c->pts;
    } else {
        double time = av_gettime_relative() / 1000000.0;
        return c->pts_drift + time - (time - c->last_updated) * (1.0 - c->speed);
    }
}