FFmpeg学习

1. FFmpeg介绍

• 用于录制、转换和流化音频和视频的完整解决方案， 包括 libavcodec ，
  一套领先的音/视频编解码类库

2. FFmpeg结构

1. libavcodec
   一个包含了所有FFmpeg音视频编解码器的库。
   2.libavformat
   一个包含了所有的普通音视格式的解析器和 产生器的库。

3. 播放视频步骤

1. 解封装

• 作用：将流媒体协议数据，解析未标准的响应的封装格式数据

2. 解协议

• 作用：将输入的封装格式的数据，分离为音频流压缩编码数据和
  视频流压缩编码数据
  封装格式常用：MP4、mkv、rmvb、ts、flv、avi

3. 解码视音频

• 作用：将视频/音频压缩编码数据，解码为非压缩的视频/音频原始数据
  音频的压缩编码标准包含AAC，MP3，AC-3等等，
  视频的压缩编码标准则包含H.264，MPEG2，VC-1等等
  视频像素数据（YUV420P,RGB）常用YUV格式

4. 视音频同步

• 作用：根据解封装模块处理过程中获取到的参数信息，同步解码处理的视频和音频数据
  并将视频音频数据送至系统的显卡和声卡播放出来

4.格式

• MPEG2-TS格式
  不包含文件头，数据大小固定（188Byte）的TS Packet构成
• FLV格式
  包含文件头，数据由大小不固定的Tag构成
• H.264格式
  数据由大小不固定的NALU构成
  一个NALU存储了1帧画面的压缩编码后的数据
• H.264压缩方法
  可以将图片数据压缩100倍意思
  包含了帧内预测、帧间预测等
• YUV格式
  因为人眼对亮度敏感而对色度不敏感，因而可以将亮度信息和色度信息分类，
  并对色度信息采用更“狠”一点的压缩方案，从而提高压缩效率
  Y只包含亮度信息
  UV只包含色度信息

5. 解码流程

av_register_all()   //注册所有组件
avformat_open_input();  //打开输入视频文件
avformat_find_stream_info();  //获取视频文件信息
avcodec_find_decoder();   //找到对应解码器
avcodec_open2();   //打开解码器
av_read_frame();    //读取一帧压缩数据
Get Packet 判断
avcodec_decode_video2()   解码一帧压缩数据   生成AVFrame
avcodec_close();  //关闭解码器
avformat_close_input(); //关闭输入视频文件
avformat_network_init();  //打开网络流
avformat_alloc_context()；  //AVFormatContext的初始化函数
avformat_free_context()；   //AVFormatContext的销毁函数

6. FFmpeg数据结构

• AVFormatContext 包含 AVIOContext、AVInputFormat、AVStream
  AVStream[0] ----> AVCodecContext ---> AVCodec
  AVStream[1] ----> AVCodecContext ---> AVCodec

AVFormatContext
封装格式上下文结构体，保存了视频文件封装格式相关信息
iformat   //输入视频的AVInputFormat
nb_streams //输入视频的AVStram个数
streams  //输入视频的AVStream数组
duration //输入视频的时长
bit_rate //输入视频的码率

AVInputFormat
每种封装格式对应一个该结构体
name //封装格式的名称
long_name
extensions  封装格式的扩展名

AVStream
视频文件中每个视频流对应一个该结构体
id //序号
codec //该流对应的AVCodecContext
time_base  //该流的时基
r_frame_rate  //该流的帧率

AVCodecContext
编码起上下文结构提，保存了视频编解码相关信息
codec  //编解码器的AVCodec
width，height  //图像的宽高
pix_fmt   //像素格式
sample_rate   //采样率
channals  //声道数
sample_fmt  //采样格式
           
AVCodec
每种视频编解码器对应一个该结构体
name  //编解码器的名称
type  //编解码器的类型
long_name
id   //编解码器ID

AVPacket
存储已帧压缩编码数据
pts  //显示时间戳
dts  //解码时间戳
date //压缩编码数据
size //压缩编码数据大小
streams_index   //所属的AVStream

AVFrame
存储已帧解码后像素数据
date  //解码后的图片像素数据
linesize   //对视频来说是图像中一行像素的大小
width，height
key_frame   //是否未关键帧
pict_type   //帧类型