ffmpeg 库简介

音视频处理过程总流程图：

音视频处理过程总流程图

ffmpeg 整体结构：

ffmpeg 整体结构

FFMPEG有8个常用库：

1. AVUtil：核心工具库，下面的许多其他模块都会依赖该库做一些基本的音
   视频处理操作。
2. AVFormat：文件格式和协议库，该模块是最重要的模块之一，封装了
   Protocol层和Demuxer、Muxer层，使得协议和格式对于开发者来说是透
   明的。
3. AVCodec：编解码库，封装了Codec层，但是有一些Codec是具备自己的
   License的，FFmpeg是不会默认添加像libx264、FDK-AAC等库的，但是
   FFmpeg就像一个平台一样，可以将其他的第三方的Codec以插件的方式
   添加进来，然后为开发者提供统一的接口。
4. AVFilter：音视频滤镜库，该模块提供了包括音频特效和视频特效的处理，在使用FFmpeg的API进行编解码的过程中，直接使用该模块为音视频数
   据做特效处理是非常方便同时也非常高效的一种方式。
5. AVDevice：输入输出设备库，比如，需要编译出播放声音或者视
   频的工具ffplay，就需要确保该模块是打开的，同时也需要SDL的
   预先编译，因为该设备模块播放声音与播放视频使用的都是SDL库。
6. SwrRessample：该模块可用于音频重采样，可以对数字音频进行
   声道数、数据格式、采样率等多种基本信息的转换。
7. SWScale：该模块是将图像进行格式转换的模块，比如，可以将
   YUV的数据转换为RGB的数据，缩放尺寸由1280720变为800480。
8. PostProc：该模块可用于进行后期处理，当我们使用AVFilter的时
   候需要打开该模块的开关，因为Filter中会使用到该模块的一些基
   础函数。

ffmpeg封装格式相关的库函数

函数原型	说明
avformat_alloc_context()	负责申请一个AVFormatContext结构的内存,并进行简单初始化
avformat_free_context()	释放该结构里的所有东西以及该结构本身
avformat_close_input()	关闭解复用器。关闭后就不再需要使用avformat_free_context() 进行释放
avformat_open_input()	打开输入视频文件
avformat_find_stream_info()	获取音视频文件信息
av_read_frame()	读取音视频包
avformat_seek_file()	定位文件
av_seek_frame()	定位文件

封装格式流程图

ffmpeg解码器相关的库函数

函数原型	说明
avcodec_alloc_context3()	分配解码器上下文
avcodec_find_decoder()	根据ID查找解码器
avcodec_find_decoder_by_name()	根据解码器名字查找
avcodec_open2()	打开编解码器
avcodec_decode_video2()	解码一帧视频数据
avcodec_decode_audio4()	解码一帧音频数据
avcodec_send_packet()	发送编码数据包
avcodec_receive_frame()	接收解码后数据
avcodec_free_context()	释放解码器上下文，包含了 avcodec_close()
avcodec_close()	关闭解码器

解码格式流程图

FFmpeg数据结构之间的关系

AVPacket和AVFrame之间的关系：

AVPacket和AVFrame之间的关系

AVFormatContext, AVStream和AVCodecContext之间的关系：

FFmpeg数据结构之间的关系

AVPacket常用API

函数原型	说明
AVPacket *av_packet_alloc(void)	分配 AVPacket 这个时候和buffer没有关系
void av_packet_free(AVPacket **pkt)	释放AVPacket 和 _alloc对应
void av_init_packet(AVPacket *pkt)	初始化AVPacket 只是单纯初始化pkt字段
int av_new_packet(AVPacket *pkt, int size)	给AVPacket的buf分配内存，引用计数初始化为1
int av_packet_ref(AVPacket *dst, const AVPacket *src)	增加引用计数
void av_packet_unref(AVPacket *pkt)	减少引用计数
void av_packet_move_ref(AVPacket *dst, AVPacket *src)	转移引用计数
AVPacket *av_packet_clone(const AVPacket *src)	相当于深拷贝一份AVPacket数据

AVFrame常用API

函数原型	说明
AVFrame *av_frame_alloc(void)	分配AVFrame
void av_frame_free(AVFrame **frame)	释放AVFrame
int av_frame_ref(AVFrame *dst, const AVFrame *src)	增加引用计数
void av_frame_unref(AVFrame *frame)	减少引用计数
void av_frame_move_ref(AVFrame *dst, AVFrame *src)	转移引用计数
int av_frame_get_buffer(AVFrame *frame, int align)	根据AVFrame分配内存
AVFrame *av_frame_clone(const AVFrame *src)	相当于深拷贝一份AVFrame数据