帧率
帧率（Frame Rate）是用于测量显示帧数的量度。所谓的测量单位为每秒显示帧数（frames per second，简称fps）或赫兹（Hz）。
每秒显示帧数（fps）或者帧率表示图形处理器处理图像时每秒能够刷新的次数。高帧率可以得到更流畅、更逼真的动画。一般来说，30fps是可以接受的，但是将性能提升至60fps后，可以明显提升交互感和逼真感。超过75fps就不容易用肉眼察觉出明显的流畅度提升了。如果帧率超过屏幕刷新率，则会浪费图像处理能力。
分辨率
视频分辨率是指视频成像产品所形成的图像大小或尺寸。
刷新率
刷新率是指屏幕画面每秒刷新的次数，刷新率分为垂直刷新率和水平刷新率，一般提到的刷新率通常指垂直刷新率。
垂直刷新率表示屏幕上图像每秒被重绘多少次，以Hz为单位。刷新率越高，图像就越自然清晰，对眼睛影响也越小。刷新率低，图像闪烁和抖动就越厉害，眼睛就越容易疲劳。一般达到80Hz以上的刷新率，就可以完成消除图像闪烁和抖动感，眼睛也不太容易疲劳。
码率
也就是比特率，表示单位时间内播放连续的媒体的比特数量。比特率越高，带宽消耗得越多。
文件大小（b） = 码率（b/s） x 时长（s）
画质与码率
并不是码流越高画质越好越流畅。实际上视频质量和码率、编码算法都有关系。
采样率
采样率是指每秒音频采样点个数，单位为Hz。
声道
声道（Sound Channel）是指声音在录制或播放时在不同空间位置采集或回放的相互独立的音频信号，所以声道数也就是声音录制时的音源数量或回放时相应的扬声器数量。
常见声道有单声道、立体声道、4声道、5.1声道、7.1声道等
为什么音视频数据需要压缩
● 未经压缩的数字视频的数据量巨大
● 存储困难
● 传输困难
为什么音视频数据可以压缩
● 去除冗余信息
空间冗余：图像相邻像素之间有较强的相关性
时间冗余：视频序列的相邻图像之间内容相似
编码冗余：不同像素值出现的概率不同
视觉冗余：人的视觉系统对某些细节不敏感
知识冗余：规律性的结构可由先验知识和背景知识得到
数据压缩分类
● 无损压缩(Winzip)
压缩前解压缩后图像完全一致
压缩比低
● 有损压缩(H.264)
压缩前解压缩后图像不一致
压缩比高
利用人的视觉系统的特性(人眼能见的动画频率和图像细节有限制)
视频编码格式
| 名称 | 推出机构 | 推出时间 | 目前使用领域 |
|---|---|---|---|
| HEVC(H.265) | MPEG/ITU-T | 2013 | 研发中 |
| H.264 | MPEG/ITU-T | 2003 | 各个领域 |
| MPEG4 | MPEG | 2001 | 不温不火 |
| MPEG2 | MPEG | 1994 | 数字电视 |
| VP9 | 2013 | 研发中 | |
| VP8 | 2008 | 不普及 | |
| VC-1 | Microsoft Inc. | 2006 | 微软平台 |
| ...... | ...... | ...... | ...... |
音频编码格式
| 名称 | 推出机构 | 推出时间 | 目前使用领域 |
|---|---|---|---|
| AAC | MPEG | 1997 | 各个领域（新） |
| AC-3 | Dolby Inc. | 1992 | 电影 |
| MP3 | MPEG | 1993 | 各个领域（旧） |
| WMA | Microsoft Inc. | 1999 | 微软平台 |
| ...... | ...... | ...... | ...... |
封装格式
| 名称 | 推出机构 | 流媒体 | 支持的视频编码 | 支持的音频编码 | 目前使用领域 |
|---|---|---|---|---|---|
| AVI | Microsoft Inc. | 不支持 | 几乎所有格式 | 几乎所有格式 | BT下载影视 |
| MP4 | MPEG | 支持 | MPEG-2, MPEG-4, H.264, H.263等 | AAC, MPEG-1 Layers I, II, III, AC-3等 | 互联网视频网站 |
| TS | MPEG | 支持 | MPEG-1, MPEG-2, MPEG-4, H.264 | MPEG-1 Layers I, II, III, AAC, | IPTV，数字电视 |
| FLV | Adobe Inc. | 支持 | Sorenson, VP6, H.264 | MP3, ADPCM, Linear PCM, AAC等 | 互联网视频网站 |
| MKV | CoreCodec Inc. | 支持 | 几乎所有格式 | 几乎所有格式 | 互联网视频网站 |
| RMVB | Real Networks Inc. | 支持 | RealVideo 8, 9, 10 | AAC, Cook Codec, RealAudio Lossless | BT下载影视 |
| ...... |
流媒体协议
| 名称 | 推出机构 | 传输层协议 | 客户端 | 目前使用领域 |
|---|---|---|---|---|
| RTSP+RTP | IETF | TCP+UDP | VLC, WMP | IPTV |
| RTMP | Adobe Inc. | TCP | Flash | 互联网直播 |
| RTMFP | Adobe Inc. | UDP | Flash | 互联网直播 |
| MMS | Microsoft Inc. | TCP/UDP | WMP | 互联网直播+点播 |
| HTTP-FLV | WWW+IETF | TCP | Flash | 互联网直播 |
| HLS(http live stream) | APPLE | TCP/UDP | Flash | 互联网直播+点播 |
YUV简介
YUV定义：分为三个分量，
“Y”表示明亮度也就是灰度值,而“U”和“V” 表示的则是色度和饱和度，作用是描述影像色彩及饱和度，用于指定像素的颜色。
YUV格式有两大类：(平面格式)planar和(打包格式)packed。
1.planar:先存储Y，然后U，然后V
2.packed:yuv交叉存储
还有我们常说的YUV420sp与YUV420p。
YUV420sp: 一种two-plane模式,即Y和UV分为两个平面,U、V交错排列。
YUV420p: 先把U存放完后，再存放V。UV是连续的。
YUV420的数据大小为： 亮度（行×列） ＋ V（行×列/4) + U（行×列/4）即：WH3/2,
普遍的编码器都以接受planar的I420数据(YUV420P)
4*4的I420数据排列如下:
y1 y2 y3 y4
y5 y6 y7 y8
y9 y10 y11 y12
y13 y14 y15 y16
u1 u2 u3 u4
v1 v2 v3 v4
而android摄像头一般默认为NV21(YUV420SP)
y1 y2 y3 y4
y5 y6 y7 y8
y9 y10 y11 y12
y13 y14 y15 y16
u1 v1 u2 v2
u3 v3 u4 v4
H.264 I,P，B帧和PTS，DTS
I frame ：帧内编码帧 ，I 帧通常是每个 GOP（MPEG 所使用的一种视频压缩技术）的第一个帧，经过适度地压缩，做为随机访问的参考点，可以当成图象。I帧可以看成是一个图像经过压缩后的产物。
P frame: 前向预测编码帧，通过充分将低于图像序列中前面已编码帧的时间冗余信息来压缩传输数据量的编码图像，也叫预测帧；
B frame: 双向预测内插编码帧 ，既考虑与源图像序列前面已编码帧，也顾及源图像序列后面已编码帧之间的时间冗余信息来压缩传输数据量的编码图像，也叫双向预测帧；
I frame:自身可以通过视频解压算法解压成一张单独的完整的图片。
P frame：需要参考其前面的一个I frame 或者B frame来生成一张完整的图片。
B frame:则要参考其前一个I或者P帧及其后面的一个P帧来生成一张完整的图片。
PTS：Presentation Time Stamp。PTS主要用于度量解码后的视频帧什么时候被显示出来
DTS：Decode Time Stamp。DTS主要是标识读入内存中的帧数据在什么时候开始送入解码器中进行解码。
在没有B帧存在的情况下DTS的顺序和PTS的顺序应该是一样的。
DTS主要用于视频的解码,在解码阶段使用。PTS主要用于视频的同步和输出.在显示的时候使用。
如上图：I frame 的解码不依赖于任何的其它的帧.而p frame的解码则依赖于其前面的I frame或者P frame。B frame的解码则依赖于其前的最近的一个I frame或者P frame 及其后的最近的一个P frame.
FFmpeg核心模块
libavformat
用于各种音视频封装格式的生成和解析，包括获取解码所需信息以生成解码上下文结构和读取音视频帧等功能；音视频的格式解析协议，为 libavcodec 分析码流提供独立的音频或视频码流源。
libavcodec
用于各种类型声音/图像编解码；该库是音视频编解码核心，实现了市面上可见的绝大部分解码器的功能，libavcodec 库被其他各大解码器 ffdshow，Mplayer 等所包含或应用。
libavfilter
filter（FileIO、FPS、DrawText）音视频滤波器的开发，如水印、倍速播放等。
libavutil
包含一些公共的工具函数的使用库，包括算数运算 字符操作；
libswresample
原始音频格式转码。
libswscale
（原始视频格式转换）用于视频场景比例缩放、色彩映射转换；图像颜色空间或格式转换，如 rgb565,rgb888 等与 yuv420 等之间转换。
libpostproc+libavcodec