ffmpeg播放器实现详解 - 快进快退控制
ffplay是ffmpeg源码中一个自带的开源播放器实例，同时支持本地视频文件的播放以及在线流媒体播放，功能非常强大。
FFplay: FFplay is a very simple and portable media player using the FFmpeg libraries and the SDL library. It is mostly used as a testbed for the various FFmpeg APIs.
ffplay中的代码充分调用了ffmpeg中的函数库，因此，想学习ffmpeg的使用，或基于ffmpeg开发一个自己的播放器，ffplay都是一个很好的切入点。
由于ffmpeg本身的开发文档比较少，且ffplay播放器源码的实现相对复杂，除了基础的ffmpeg组件调用外，还包含视频帧的渲染、音频帧的播放、音视频同步策略及线程调度等问题。
因此，这里我们以ffmpeg官网推荐的一个ffplay播放器简化版本的开发例程为基础，在此基础上循序渐进由浅入深，最终探讨实现一个视频播放器的完整逻辑。
在前几篇文章中，我们讨论了与音视频同步相关的时间戳概念，如通过video_clock & audio_clock 追踪当前播放进度的时间戳，在音频解码时如何通过插值与丢帧与主时钟同步，以及如何动态预测下一帧的延迟刷新显示时间来同步视频播放等内容。
到目前为止，一个视频播放器的主要技术原理及功能实现已经介绍完了。在本系列文章的最后，我们将讨论如何实现播放器的[快进]/[快退]功能。
公众号：断点实验室 音视频开发系列文章
ffmpeg源码编译环境搭建
ffplay源码编译
ffmpeg播放器实现详解 - 框架搭建
ffmpeg播放器实现详解 - 视频显示
ffmpeg播放器实现详解 - 音频播放
ffmpeg播放器实现详解 - 创建线程
ffmpeg播放器实现详解 - 视频同步控制
ffmpeg播放器实现详解 - 音频同步控制
ffmpeg播放器实现详解 - 快进快退控制
1、快进快退事件处理
先来看下[快进]/[快退]事件的触发与处理机制，这里我们仍然是通过异步事件机制实现[快进]/[快退]控制的。
首先通过上下左右4个方向键触发[快进]/[快退]事件，其中，左右键设定[快进]/[快退]10s，上下键设定[快进]/[快退]60s。
然后在main函数的事件循环处理逻辑中，通过sdl来监听捕获每个按键对应的消息，接着通过goto跳转到do_seek执行具体的事件处理逻辑。
int main(int argc, char *argv[]) {
...
for (;;) {
double incr, pos;
SDL_WaitEvent(&event);//Use this function to wait indefinitely for the next available event，主线程阻塞，等待事件到来
switch (event.type) {//事件到来后唤醒主线程后，检查事件类型，执行相应操作
case SDL_KEYDOWN://检查键盘操作事件
switch (event.key.keysym.sym) {//检查键盘操作类型，which key get hit
case SDLK_LEFT://[左键]
incr = -10.0;//后退10s
goto do_seek;
case SDLK_RIGHT://[右键]
incr = 10.0;//快进10s
goto do_seek;
case SDLK_UP://[上键]
incr = 60.0;//快进60s
goto do_seek;
case SDLK_DOWN://[下键]
incr = -60.0;//后退60s
goto do_seek;
有了[快进]/[快退]事件的监听，下面我们来看下对具体事件的处理过程。
我们先在VideoState全局状态参数集中增加几个字段，用于追踪与[快进]/[快退]相关的状态，其他组件在自己的逻辑中判断这些状态值，并执行相应的动作。
typedef struct VideoState {
...
int seek_req;//[快进]/[后退]操作开启标志位
int seek_flags;//[快进]/[后退]操作类型标志位
int64_t seek_pos;//[快进]/[后退]操作后的参考时间戳
...
}VideoState;
接着我们来看事件处理逻辑。
int main(int argc, char *argv[]) {
...
do_seek://处理请求
if (global_video_state) {
pos = get_master_clock(global_video_state);//取得当前主同步源时间戳
pos += incr;//根据键盘操作更新主同步源时间戳(AV_TIME_BASE为时间戳基准值)
stream_seek(global_video_state,(int64_t)(pos*AV_TIME_BASE),incr);//根据主同步源时间戳设置查找位置
}
break;
在do_seek中处理按键事件。
- 首先通过getMasterClock获取当前主同步源时钟。
- 接着将[快进]/[快退]的时差值更新到主同步源时种上，作为新的同步目标时间。
- 最后我们在stream_seek中更新[快进]/[快退]的全局状态信息。
//设置[快进]/[快退]状态参数
void stream_seek(VideoState *is, int64_t pos, int rel) {
if (!is->seek_req) {//检查[快进]/[后退]操作标志位是否开启
is->seek_pos = pos;//更新[快进]/[后退]后的参考时间戳
is->seek_flags = rel < 0 ? AVSEEK_FLAG_BACKWARD : 0;//确定[快进]还是[后退]操作
is->seek_req = 1;//开启[快进]/[后退]标志位
}
}
这几个全局状态参数在stream_seek中更新后，其他组件就可以根据这些状态信息，在自己的逻辑中执行相应的动作了。
2、快进快退功能实现
我们在stream_seek中更新了[快进]/[快退]的全局状态参数，在编码数据包解析线程函数parse_thread中判断[快进]/[快退]操作标志位是否开启，当判断有[快进]/[快退]请求时，执行下列3个动作
- 首先进行时间单位转换，将seek_target的单位由AV_TIME_BASE_Q转换为time_base
- 通过av_seek_frame函数根据目标时间戳跳到指定帧
- 清空当前编码数据缓存队列
具体实现如下
int parse_thread(void *arg) {
...
// Seek stuff goes here
if (is->seek_req) {//检查[快进]/[快退]操作标志位是否开启
int stream_index= -1;//初始化音视频流类型标号
int64_t seek_target = is->seek_pos;//取得[快进]/[快退]操作后的参考时间戳
if (is->videoStream >= 0) {//检查是否取得视频流类型标号
stream_index = is->videoStream;//取得视频流类型标号
} else if (is->audioStream >= 0) {//检查是否取得音频流类型标号
stream_index = is->audioStream;//取得音频流类型标号
}
if (stream_index >= 0){//检查是否取得音视频流类型标号
//时间单位转换，将seek_target的单位由AV_TIME_BASE_Q转换为time_base
seek_target= av_rescale_q(seek_target, AV_TIME_BASE_Q, pFormatCtx->streams[stream_index]->time_base);
}
//根据[快进]/[快退]操作后的时间戳，跳到指定帧(该函数只能跳到离指定帧最近的关键帧)
if (av_seek_frame(is->pFormatCtx, stream_index, seek_target, is->seek_flags) < 0) {
fprintf(stderr, "%s: error while seeking\n", is->pFormatCtx->filename);
} else {//在执行[快进]/[快退]操作后，立刻清空缓存队列，并重置音视频解码器
if (is->audioStream >= 0) {//检查是否取得音频流类型标号
packet_queue_flush(&is->audioq);//清除音频队列缓存，释放队列中所有动态分配的内存
packet_queue_put(&is->audioq, &flush_pkt);//将flush_pkt插入音频数据包队列，执行重置音频解码器操作avcodec_flush_buffers
}
if (is->videoStream >= 0) {//取得视频流类型标号
packet_queue_flush(&is->videoq);//清除视频队列缓存，释放队列中所有动态分配的内存
packet_queue_put(&is->videoq, &flush_pkt);//将flush_pkt插入视频数据包队列，执行重置视频解码器操作avcodec_flush_buffers
}
}
is->seek_req = 0;//关闭[快进]/[快退]操作标志位
}//end for if (is->seek_req)
这里需要注意的是，av_seek_frame的输入参数seek_target不是一个具体的时间长度，如多少秒，而是一个基于avcodec内部时基单位的取值，因此这里需要进行时间单位的转换。
清空队列原理是这样的，给队列插入一个特殊的flush packet，解码线程检测到这个packet后，立刻清空当前编码数据缓存，然后等待下一个packet的到来。
清空编码数据队列后，parse_thread会根据av_seek_frame输入的目标时间戳，从指定帧重新解析编码数据，开始下一轮解析过程。
3、源码编译验证
源码的编译方法和之前的例程完全相同，源码可采用如下Makefile脚本进行编译
tutorial07: tutorial07.c
gcc -o tutorial07 -g3 tutorial07.c -I${FFMPEG_INCLUDE} -I${SDL_INCLUDE} \
-L${FFMPEG_LIB} -lavutil -lavformat -lavcodec -lswscale -lswresample -lz -lm \
`sdl-config --cflags --libs`
clean:
rm -rf tutorial07
执行make命令开始编译，编译完成后，可在源码目录生成名为[tutorial07]的可执行文件。
与ffplay的使用方法类似，执行[tutorial07 url]命令，url可以选择本地视频文件，或媒体流地址。
./tutorial07 ./xxx.mp4
输入Ctrl+C结束程序运行
4、源码清单
至此，一个完整的视频播放器模型就介绍完了。虽然这只是一个播放器的基础模型，但里面的内容却并不检查，涉及方方面面的内容。为了简化学习的难度，这里将几乎所有代码都加上了注释，大家可以自己动手调试，加深理解。
// tutorial07.c
// A pedagogical video player that really works! Now with seeking features.
//
// This tutorial was written by Stephen Dranger ([email protected]).
//
// Code based on FFplay, Copyright (c) 2003 Fabrice Bellard,
// and a tutorial by Martin Bohme ([email protected])
// Tested on Gentoo, CVS version 5/01/07 compiled with GCC 4.1.1
//
// Updates tested on:
// Mac OS X 10.11.6
// Apple LLVM version 8.0.0 (clang-800.0.38)
//
// Use
//
// $ gcc -o tutorial07 tutorial07.c -lavutil -lavformat -lavcodec -lswscale -lswresample -lz -lm `sdl-config --cflags --libs`
//
// to build (assuming libavutil/libavformat/libavcodec/libswscale/libswresample are correctly installed your system).
//
// Run using
//
// $ tutorial07 myvideofile.mpg
//
// to play the video.
/*---------------------------
//1、消息队列处理函数在处理消息前，先对互斥量进行锁定，以保护消息队列中的临界区资源
//2、若消息队列为空，则调用pthread_cond_wait对互斥量暂时解锁，等待其他线程向消息队列中插入消息数据
//3、待其他线程向消息队列中插入消息数据后，通过pthread_cond_signal像等待线程发出qready信号
//4、消息队列处理线程收到qready信号被唤醒，重新获得对消息队列临界区资源的独占
#include
struct msg{//消息队列结构体
struct msg *m_next;//消息队列后继节点
//more stuff here
}
struct msg *workq;//消息队列指针
pthread_cond_t qready=PTHREAD_COND_INITIALIZER;//消息队列就绪条件变量
pthread_mutex_t qlock=PTHREAS_MUTEX_INITIALIZER;//消息队列互斥量，保护消息队列数据
//消息队列处理函数
void process_msg(void){
struct msg *mp;//消息结构指针
for(;;){
pthread_mutex_lock(&qlock);//消息队列互斥量加锁，保护消息队列数据
while(workq==NULL){//检查消息队列是否为空，若为空
pthread_cond_wait(&qready,&qlock);//等待消息队列就绪信号qready，并对互斥量暂时解锁，该函数返回时，互斥量再次被锁住
}
mp=workq;//线程醒来，从消息队列中取数据准备处理
workq=mp->m_next;//更新消息队列，指针后移清除取出的消息
pthread_mutex_unlock(&qlock);//释放锁
//now process the message mp
}
}
//将消息插入消息队列
void enqueue_msg(struct msg *mp){
pthread_mutex_lock(&qlock);//消息队列互斥量加锁，保护消息队列数据
mp->m_next=workq;//将原队列头作为插入消息的后继节点
workq=mp;//将新消息插入队列
pthread_mutex_unlock(&qlock);//释放锁
pthread_cond_signal(&qready);//给等待线程发出qready消息，通知消息队列已就绪
}
---------------------------*/
#include \n" );
exit(1);
}
av_register_all();// Register all formats and codecs，注册所有多媒体格式及编解码器
VideoState *is=av_mallocz(sizeof(VideoState));//创建全局状态对象
av_strlcpy(is->filename, argv[1], 1024);//复制视频文件路径名
is->pictq_lock = SDL_CreateMutex();//创建编码数据包队列互斥锁对象
is->pictq_ready = SDL_CreateCond();//创建编码数据包队列就绪条件对象
//SDL_Init initialize the Event Handling, File I/O, and Threading subsystems，初始化SDL
if (SDL_Init(SDL_INIT_VIDEO | SDL_INIT_AUDIO | SDL_INIT_TIMER)) {
fprintf(stderr, "Could not initialize SDL - %s\n", SDL_GetError());//initialize the video audio & timer subsystem
exit(1);
}
// Make a screen to put our video,在SDL2.0中SDL_SetVideoMode及SDL_Overlay已经弃用，改为SDL_CreateWindow及SDL_CreateRenderer创建窗口及着色器
#ifndef __DARWIN__
screen = SDL_SetVideoMode(640, 480, 0, 0);//创建SDL窗口及绘图表面，并指定图像尺寸及像素格式
#else
screen = SDL_SetVideoMode(640, 480, 24, 0);//创建SDL窗口及绘图表面，并指定图像尺寸及像素格式
#endif
if (!screen) {//检查SDL(绘图表面)窗口是否创建成功(SDL用绘图表面对象操作窗口)
fprintf(stderr, "SDL: could not set video mode - exiting\n");
exit(1);
}
schedule_refresh(is, 40);//在指定的时间(40ms)后回调用户指定的函数，进行图像帧的显示更新
is->av_sync_type = DEFAULT_AV_SYNC_TYPE;//指定主同步源
is->parse_tid = SDL_CreateThread(parse_thread ,is);//创建编码数据包解析线程
if (!is->parse_tid) {//检查线程是否创建成功
av_free(is);
return -1;
}
av_init_packet(&flush_pkt);//初始化flush_pkt
//将flush_pkt的data成员指定为"FLUSH"，当数据包队列中某个包的data成员取值为"FLUSH"，执行重置解码器操作
flush_pkt.data = (unsigned char *) "FLUSH";
/*-----------------------
* SDL事件(消息)循环
* 播放器通过消息循环机制，不断循环往复的触发(驱动)图像帧渲染操作，完成整个视频文件的渲染
* 整个过程类似于按照指定节拍弹奏钢琴，消息循环机制保证了视频按照固定的节拍(6/8)播放
* 因为存在解码顺序与渲染顺序不一致的情况(解码B帧的情况)，视频同步机制保证了在图像在解码后都尽量按照固定节拍播放
* 在每次的消息响应函数video_refresh_timer中，重新计算下一帧的显示时间
* 并通过schedule_refresh指定时间(类似于节拍器作用)，触发下一轮的图像帧显示
-----------------------*/
SDL_Event event;//SDL事件(消息)对象
for (;;) {
double incr, pos;
SDL_WaitEvent(&event);//Use this function to wait indefinitely for the next available event，主线程阻塞，等待事件到来
switch (event.type) {//事件到来后唤醒主线程后，检查事件类型，执行相应操作
case SDL_KEYDOWN://检查键盘操作事件
switch (event.key.keysym.sym) {//检查键盘操作类型，which key get hit
case SDLK_LEFT://[左键]
incr = -10.0;//快退10s
goto do_seek;
case SDLK_RIGHT://[右键]
incr = 10.0;//快进10s
goto do_seek;
case SDLK_UP://[上键]
incr = 60.0;//快进60s
goto do_seek;
case SDLK_DOWN://[下键]
incr = -60.0;//快退60s
goto do_seek;
do_seek://处理请求
if (global_video_state) {
pos = get_master_clock(global_video_state);//取得当前主同步源时间戳
pos += incr;//根据键盘操作更新主同步源时间戳(AV_TIME_BASE为时间戳基准值)
stream_seek(global_video_state,(int64_t)(pos*AV_TIME_BASE),incr);//根据主同步源时间戳设置查找位置
}
break;
default:
break;
}
break;
case FF_QUIT_EVENT:
case SDL_QUIT://退出进程事件
is->quit = 1;
// If the video has finished playing, then both the picture and audio queues are waiting for more data. Make them stop waiting and terminate normally.
SDL_CondSignal(is->audioq.qready);//发出队列就绪信号避免死锁
SDL_CondSignal(is->videoq.qready);
SDL_Quit();
exit(0);
break;
case FF_ALLOC_EVENT://分配overlay事件
alloc_picture(event.user.data1);//分配overlay事件响应函数
break;
case FF_REFRESH_EVENT://视频显示刷新事件
video_refresh_timer(event.user.data1);//视频显示刷新事件响应函数
break;
default:
break;
}
}
return 0;
}
// 著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。
// 公众号：断点实验室
// 扫描二维码，关注更多优质原创，内容包括：音视频开发、图像处理、网络、
// Linux，Windows、Android、嵌入式开发等
