FFmpeg （一）基础概念入门
FFmpeg （二）视频格式和ffmpeg结构体
FFmpeg （三）自定义播放器基本知识点
FFmpeg （四）音频处理OpenSL ES 使用
FFmpeg （五）音视频同步
I\P\B帧
I 帧：帧内编码帧 ，一个图像经过压缩后的产物,包含一幅完整的图像信息;
P 帧: 前向预测编码帧，利用之前的I帧或P帧进行预测编码
B 帧: 双向预测内插编码帧 ，利用之前和之后的I帧或P帧进行双向预测编码。
DTS和PTS
PTS：Presentation Time Stamp。显示时间戳，表示显示顺序。
DTS：Decode Time Stamp。解码时间戳，表示解码顺序
在没有B帧存在的情况下DTS的顺序和PTS的顺序应该是一样的。
音频中DTS和PTS是相同的，视频中由于可能存在B帧，含B帧的视频PTS与DTS不同。
音视频同步
如果音频与视频各播各的，由于机器运行速度，解码效率等种种造成时间差异的因素影响，即使最初音视频是基本同步的，也会随着时间的流逝逐渐失去同步。所以，必须要采用一定的同步策略，不断对音视频的时间差作校正，使图像显示与声音播放总体保持一致。
音视频的同步，有三种方式：
1、参考一个外部时钟，将音频与视频同步至此时间；
2、以视频为基准，音频去同步视频的时间；
3、以音频为基准，视频去同步音频的时间。
由于人对声音的变化相对于视觉更加敏感。所以频繁的去调整声音的播放会感觉刺耳或杂音影响用户体验。所以一般情况下，播放器使用第三种同步方式。
视频同步到音频
1、根据音频PTS计算音频播放时钟—clock；
2、根据视频PTS计算视频播放时钟；
3、音频正常播放，视频播放前比较音频clock，计算延迟时间。
音频：
clock = frame->pts * av_q2d(time_base);
视频：
clock = frame->best_effort_timestamp * av_q2d(time_base);
// 播放这段音频的时间
clock = frame->pts * av_q2intfloat(time_base);
// 假设：time_base {1,20} <-> pst = 1/20 为单位 <->1 秒钟分成20份
延迟时间:
参考 其他播放器ijkPlayer ,dnplayer,ff_player
参考0.04-0.1 秒 之间
// 音视频同步
if(audioChannel){
// 值：就是pts 和音频中的一样，pts 优化后的数据 best_effort_timestamp
clock = frame->best_effort_timestamp * av_q2d(time_base);
double diff = clock - audioChannel->clock;
// 给一个时间差允许范围，不需要太苛刻 ff_player 和ijk_player 参考0.04-0.1 秒 之间
/**
* 1.正常延迟时间delay < 0.04 同步阈值就是0.04
* 2.0.04 < delay < 0.1 同步阈值就是 delay
* 3. delay > 0.1 同步阈值就是 0.1
*/
double sync = FFMAX(AV_SYNC_THRESHOLD_MIN,FFMIN(AV_SYNC_THRESHOLD_MAX,delay));
if(diff <= -sync){
// 视频落后太多，需要同步，修改delay 时间，减小delay，赶上音频
delay = FFMAX(0,delay + diff);
} else if(diff >= sync){
// 视频快乐，让delay 时间大一些，等待音频同步上来
delay = delay + diff;
}
}
FFmpeg 参考
FFmpeg 编译参考
NDK 开发
FFmpeg 总结命令