C语言 ffmpeg与sdl实现播放视频同时同步时钟详解

目录

• 前言
• 一、直接延时
• 1、根据帧率延时
• 2、根据duration延时
• 二、同步到时钟
• 1、同步到绝对时钟
• 2、同步到视频时钟
• 三、同步到音频
• 1、音频时钟的计算
• 2、同步到音频时钟
• 总结

前言

视频的时钟同步有时是很难理解的，甚至知道了理论并不能确保实现，需要通过实践获取各种参数以及具体的实现逻辑。本文将介绍一些视频时钟同步的具体实现方式。

一、直接延时

我们播放视频是可以直接延时的，这种方式比较不准确，但是也算是一种初级的方法。

1、根据帧率延时

每渲染一帧都进行一个固定的延时，这个延时的时间是通过帧率计算得来。

//获取视频帧率
AVRational framerate = play->formatContext->streams[video->decoder.streamIndex]->avg_frame_rate;
//根据帧率计算出一帧延时
double duration = (double)framerate.num / framerate.den;
//显示视频
略
//延时
av_usleep(duration* 1000000);

2、根据duration延时

每渲染一帧根据其duration进行延时，这个duration在视频的封装格式中通常会包含。

//获取当前帧的持续时间，下列方法有可能会无法获取duration，还有其他方法获取duration这里不具体说明，比如ffplay通过缓存多帧，来计算duartion。或者自己实现多帧估算duration。
AVRational timebase = play->formatContext->streams[video->decoder.streamIndex]->time_base;
double duration = frame->pkt_duration * (double)timebase.num / timebase.den;
//显示视频
略
//延时
av_usleep(duration* 1000000);

二、同步到时钟

注：这一部分讲的只有视频时钟同步不涉及音频。

上面的简单延时一定程度可以满足播放需求，但也有问题，不能确保时间的准确性。尤其是解复用解码也会消耗时间，单纯的固定延时会导致累计延时。这个时候我们就需要一个时钟来校准每一帧的播放时间。

1、同步到绝对时钟

比较简单的方式是按绝对的方式同步到时钟，即视频有多长，开始之后一定是按照系统时间的长度播放完成，如果视频慢了则会不断丢帧，直到追上时间。

定义一个视频起始时间,在播放循环之外的地方。

//视频起始时间，单位为秒
double videoStartTime=0;

播放循环中进行时钟同步。下列代码的frame为解码的AVFrame。

//以下变量时间单位为s	
//当前时间
double currentTime = av_gettime_relative() / 1000000.0 - videoStartTime;
//视频帧的时间
double	pts = frame->pts * (double)timebase.num / timebase.den;
//计算时间差,大于0则late，小于0则early。
double diff = currentTime - pts;
//视频帧的持续时间，下列方法有可能会无法获取duration，还有其他方法获取duration这里不具体说明，比如ffplay通过缓存多帧，来计算duartion。
double duration = frame->pkt_duration * (double)timebase.num / timebase.den;
//大于阈值，修正时间，时钟和视频帧偏差超过0.1s时重新设置起点时间。
if (diff > 0.1)
{
	videoStartTime = av_gettime_relative() / 1000000.0 - pts;
	currentTime = pts;
	diff = 0;
}
//时间早了延时
if (diff < 0)
{
    //小于阈值,修正延时，避免延时过大导致程序卡死
    if (diff< -0.1)
    {
	    diff =-0.1;
    }
	av_usleep(-diff * 1000000);
	currentTime = av_gettime_relative() / 1000000.0 -videoStartTime;
	diff = currentTime - pts;
}
//时间晚了丢帧，duration为一帧的持续时间，在一个duration内是正常时间，加一个duration作为阈值来判断丢帧。
if (diff > 2 * duration)
{
	av_frame_unref(frame);
	av_frame_free(&frame);
	//此处返回即不渲染，进行丢帧。也可以渲染追帧。
	return;
}
//显示视频
略

2、同步到视频时钟

同步到视频时钟就是，按照视频播放的pts为基准，每次渲染的时候都根据当前帧的pts更新视频时钟。与上面的差距只是多了最底部一行时钟更新代码。

//更新视频时钟
videoStartTime = av_gettime_relative() / 1000000.0 - pts;

因为与上一节代码基本一致，所以不做具体说明，直接参考上一节说明即可。

//以下变量时间单位为s	
//当前时间
double currentTime = av_gettime_relative() / 1000000.0 - videoStartTime;
//视频帧的时间
double	pts = frame->pts * (double)timebase.num / timebase.den;
//计算时间差,大于0则late，小于0则early。
double diff = currentTime - pts;
//视频帧的持续时间，下列方法有可能会无法获取duration，还有其他方法获取duration这里不具体说明，比如ffplay通过缓存多帧，来计算duartion。
double duration = frame->pkt_duration * (double)timebase.num / timebase.den;
//大于阈值，修正时间，时钟和视频帧偏差超过0.1s时重新设置起点时间。
if (diff > 0.1)
{
	videoStartTime = av_gettime_relative() / 1000000.0 - pts;
	currentTime = pts;
	diff = 0;
}
//时间早了延时
if (diff < 0)
{
    //小于阈值,修正延时，避免延时过大导致程序卡死
    if (diff< -0.1)
    {
	    diff =-0.1;
    }
	av_usleep(-diff * 1000000);
	currentTime = av_gettime_relative() / 1000000.0 - videoStartTime;
	diff = currentTime - pts;
}
//时间晚了丢帧，duration为一帧的持续时间，在一个duration内是正常时间，加一个duration作为阈值来判断丢帧。
if (diff > 2 * duration)
{
	av_frame_unref(frame);
	av_frame_free(&frame);
	//此处返回即不渲染，进行丢帧。也可以渲染追帧。
	return;
}
//更新视频时钟
videoStartTime = av_gettime_relative() / 1000000.0 - pts;
//显示视频
略

三、同步到音频

1、音频时钟的计算

要同步到音频我们首先得计算音频时钟，通过音频播放的数据长度可以计算出pts。

定义两个变量，音频的pts，以及音频时钟的起始时间startTime。

//下列变量单位为秒
double audioPts=0;
double audioStartTime=0;

在sdl的音频播放回调中计算音频时钟。其中spec为SDL_AudioSpec是SDL_OpenAudioDevice的第四个参数。

//音频设备播放回调
static void play_audio_callback(void* userdata, uint8_t* stream, int len) {
    //写入设备的音频数据长度
    int dataSize;
    //将数据拷贝到stream
    略
    //计算音频时钟
    if (dataSize > 0)
	{
	  //计算当前pts
      audioPts+=(double) (dataSize)*/ (spec.freq * av_get_bytes_per_sample(forceFormat) * spec.channels);
      //更新音频时钟
      audioStartTime= = av_gettime_relative() / 1000000.0 -audioPts;
    }
}

2、同步到音频时钟

有了音频时钟后，我们需要将视频同步到音频，在二、2的基础上加入同步逻辑即可。

//同步到音频	
double avDiff = 0;
avDiff = videoStartTime - audioStartTime;
diff += avDiff;

完整代码

//以下变量时间单位为s	
//当前时间
double currentTime = av_gettime_relative() / 1000000.0 - videoStartTime;
//视频帧的时间
double	pts = frame->pts * (double)timebase.num / timebase.den;
//计算时间差,大于0则late，小于0则early。
double diff = currentTime - pts;
//视频帧的持续时间，下列方法有可能会无法获取duration，还有其他方法获取duration这里不具体说明，比如ffplay通过缓存多帧，来计算duartion。
double duration = frame->pkt_duration * (double)timebase.num / timebase.den;
//同步到音频	
double avDiff = 0;
avDiff = videoStartTime - audioStartTime;
diff += avDiff;
//大于阈值，修正时间，时钟和视频帧偏差超过0.1s时重新设置起点时间。
if (diff > 0.1)
{
	videoStartTime = av_gettime_relative() / 1000000.0 - pts;
	currentTime = pts;
	diff = 0;
}
//时间早了延时
if (diff < 0)
{
    //小于阈值,修正延时，避免延时过大导致程序卡死
    if (diff< -0.1)
    {
	    diff =-0.1;
    }
	av_usleep(-diff * 1000000);
	currentTime = av_gettime_relative() / 1000000.0 - videoStartTime;
	diff = currentTime - pts;
}
//时间晚了丢帧，duration为一帧的持续时间，在一个duration内是正常时间，加一个duration作为阈值来判断丢帧。
if (diff > 2 * duration)
{
	av_frame_unref(frame);
	av_frame_free(&frame);
	//此处返回即不渲染，进行丢帧。也可以渲染追帧。
	return;
}
//更新视频时钟
videoStartTime = av_gettime_relative() / 1000000.0 - pts;
//显示视频
略

总结

就是今天要讲的内容，本文简单介绍了几种视频时钟同步的方法，不算特别难，但是在网上查找的资料比较少。可以参考的ffplay的实现也有点复杂，本文的实现部分借鉴了ffplay。本文实现的时钟同步还是可以继续优化的，比如用pid进行动态控制。以及duration的计算可以细化调整。

到此这篇关于C语言 ffmpeg与sdl实现播放视频同时同步时钟详解的文章就介绍到这了,更多相关C语言 ffmpeg与sdl内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！