视频编码最重要目的就是为了进行数据压缩，以此来降低数据传输和存储的成本，用一个简单的例子来说明视频编码的重要性。我们计算一段 10 秒钟1080p（1920*1080）、30fps 的 yuv420p 像素格式（每个像素占用1.5字节）原始视频的体积：
1920 * 1080 * 30 * 10 * 1.5 = 933120000 字节 ≈ 889.89MB
仅仅是一段 10 秒钟的1080p原始视频的体积就达到了 889.89MB，如果传输没有压缩的视频数据，1 秒钟需要约 88.99MB 的带宽，显然这是一个很大的数据量，应用于现在的网络，网络压力会很大。但是有了视频编码的存在，大幅的减少了视频流所需要的比特，让现在的网络可以无压力的播放，甚至在某些低码率的情况下，我们依然可以看到高清的视频。当前视频编码标准很多，最主流的还是 H.264 编码。
一、H.264简介
国际上制定视频编解码技术的组织有两个，一个是“国际电联（ITU-T）”，它制定的标准有 H.261、H.263、H.263+ 等，另一个是“国际标准化组织（ISO）”它制定的标准有 MPEG-1、MPEG-2、MPEG-4 等。而 H.264 则是由两个组织联合组建的联合视频组（JVT）共同制定的新数字视频编码标准，所以它既是 ITU-T 的 H.264，又是 ISO/IEC 的 MPEG-4 高级视频编码（Advanced Video Coding，AVC）的第 10 部分。
H.264 是迄今为止视频录制、压缩和分发的最常用格式。截至 2019 年 9 月，已有 91％ 的视频开发人员使用了该格式。H.264 提供了明显优于以前任何标准的压缩性能，在同样的画质下，拥有更高的压缩率（低码率），同时拥有更好的网络亲和性，可适用于各种传输网络。H.264 因其是蓝光盘的其中一种编解码标准而著名，所有蓝光盘播放器都必须能解码 H.264。
二、编码过程及原理
H.264 的编程过程比较复杂，本文只介绍大体的框架和脉络，具体细节就不展开了。大体可以归纳为以下几个主要步骤（如下图）：划分帧类型、帧内/帧间编码、变换 + 量化、滤波、熵编码。
1、划分帧类型
视频压缩主要是压缩视频冗余数据，对于视频数据主要有两类冗余数据，一类是空间上的冗余，一类是时间上的冗余。其中时间上的冗余是最大的。为什么说时间上的冗余是最大的呢？我们使用 YuvEye 查看视频的每一帧会发现，有很多连续的帧是相似的（如下图的 3853~3864 帧是非常相似的），连续相似的帧有可能有几十帧，也有可能有几百帧。对于这些连续相似的帧，其实我们只需要保存一帧数据，其他帧可以通过这一帧按照某种规则预测出来，所以说视频数据在时间上的冗余是最多的。
有统计结果表明，在连续的几帧图像中，一般只有10%以内的像素有差别，亮度的差值变化不超过2%，而色度的差值变化只在1%以内。为了达到连续相似的相关帧通过预测的方法来压缩数据，就需要将视频帧进行分组。那么如何对相似帧进行分组呢？H.264 编码器会按顺序，每次取出两幅相邻的帧进行宏块比较，计算两帧的相似度。通过宏块扫描与宏块搜索可以发现这两个帧的关联度是非常高的。进而发现这一组帧的关联度都是非常高的，这些帧就可以划分到一个图像群组，我们简称 GOP（Group Of Pictures）。
接下来就要对 GOP 中的每一帧确定一个类型，H.264 协议中定义了 I 帧、P 帧和 B 帧 共 3 种类型：
I 帧（I Picture、I Frame、Intra Coded Picture），译为：帧内编码图像，也叫做关键帧（Keyframe），是视频的第一帧，也是 GOP 的第一帧，一个 GOP 只有一个I 帧。I 帧 是一种自带全部信息的完整独立帧，不会依赖其他帧的信息，也就是自我进行参考的帧，可以简单理解为一张静态图像。在编码时对整帧图像数据进行编码。在解码时仅用当前I 帧的编码数据就可以解码出完整的图像。
P 帧（P Picture、P Frame、Predictive Coded Picture），译为：预测编码图像。编码时并不会对整帧图像数据进行编码，以前面的 I 帧 或 P 帧 作为参考帧，只编码当前 P 帧 与参考帧的差异数据。解码时需要先解码出前面的参考帧，再结合差异数据解码出当前 P 帧 完整的图像。在较早的视频编码标准（例如MPEG-2）中，P 帧 只能使用一个参考帧，而一些现代视频编码标准（比如 H.264），允许使用多个参考帧。
B 帧（B Picture、B Frame、Bipredictive Coded Picture），译为：前后预测编码图像。
编码时并不会对整帧图像数据进行编码，同时以前面、后面的 I 帧 或 P 帧 作为参考帧，只编码当前 B 帧 与前后参考帧的差异数据，因为可参考的帧变多了，所以只需要存储更少的差异数据。解码时需要先解码出前后的参考帧，再结合差异数据解码出当前 B 帧 完整的图像。
不难看出，编码后的数据大小：I 帧 > P 帧 > B 帧。
1.1、帧的编解码顺序
以下图为例，在播放时站在用户角度看到的帧的顺序是 I0->B2->B3->P1->B5->B6->P4->B8->B9->I7->B11->B12->P10。编码时同样首先编码 I0 帧，按照显示顺序接下来应该编码 B2 帧，但是由于 B2 帧需要参考后面的 P1 帧，所以要优先编码 P1 帧，接下来才能编码 B2 帧，然后是 B3 帧，再后面就是 P4 帧、B5 帧、B6 帧，紧接着由于 B8 帧和 B9 帧需要参考 GOP #1 的 I7 帧，在 B8 帧和 B9 帧编码之前要先编码 I7 帧，总结下来编码的顺序是 I0->P1->B2->B3->P4->B5->B6->I7->B8->B9->P10->B11->B12。解码顺序和编码顺序是一样的。
1.2、GOP 长度
GOP 的长度表示 GOP 的帧数。GOP 的长度需要控制在合理范围，以平衡视频质量、视频大小（网络带宽）和seek 效果（拖动、快进的响应速度）等。加大 GOP 长度有利于减小视频文件大小，但也不宜设置过大，太大则会导致 GOP 后部帧的画面失真，影响视频质量。由于 P 帧、B 帧 的复杂度大于 I 帧，GOP 值过大，过多的P 帧、B 帧 会影响编码效率，使编码效率降低。如果设置过小的 GOP 值，视频文件会比较大，则需要提高视频的输出码率，以确保画面质量不会降低，故会增加网络带宽。GOP 长度也是影响视频 seek 响应速度的关键因素，seek 时播放器需要定位到离指定位置最近的前一个I 帧，如果 GOP 太大意味着距离指定位置可能越远（需要解码的参考帧就越多）、seek 响应的时间（缓冲时间）也越长。
1.3、GOP 类型
GOP 又可以分为 Open（开放）、Closed（封闭）两种。Open 类型：前一个 GOP 的 B 帧 可以参考下一个 GOP 的 I 帧。Closed 类型：前一个 GOP 的 B 帧 不能参考下一个 GOP 的 I 帧，并且 GOP 不能以 B 帧 结尾。
需要注意的是，由于 P 帧、B 帧 都对前面的参考帧（P 帧、I 帧）有依赖性，因此，一旦前面的参考帧出现数据错误，就会导致后面的 P 帧、B 帧 也出现数据错误，而且这种错误还会继续向后传播。对于普通的 I 帧，其后的P 帧 和B 帧 可以参考该普通 I 帧 之前的其他 I 帧。
在 Closed GOP 中，有一种特殊的 I 帧，叫做 IDR 帧（Instantaneous Decoder Refresh，译为：即时解码刷新）。在编码解码中为了方便，将 GOP 中首个 I 帧 要和其他I帧区别开，把第一个 I 帧 叫 IDR 帧，这样方便控制编码和解码流程，所以 IDR 帧 一定是 I 帧，但 I 帧 不一定是 IDR 帧。当遇到 IDR 帧 时，会清空参考帧队列。如果前一个序列出现重大错误，在这里可以获得重新同步的机会，使错误不会继续往下传播。一个 IDR 帧 之后的所有帧，永远都不会参考该 IDR 帧之前的帧。视频播放时，播放器一般都支持随机 seek（拖动）到指定位置，而播放器直接选择到指定位置附近的 IDR 帧 进行播放最为便捷，因为可以明确知道该 IDR 帧 之后的所有帧都不会参考其之前的其他 I 帧，从而避免较为复杂的反向解析。
2、帧内/帧间编码
I 帧 采用的是帧内（Intra Frame）编码，处理的是空间冗余。P 帧、B 帧采用的是帧间（Inter Frame）编码，处理的是时间冗余。
2.1、划分宏块
在进行编码之前，编码器会通过算法将一张完整的帧切割成多个宏块（Macroblock），然后逐块进行后续的压缩处理。H.264 中的宏块大小通常是 16x16，宏块是 H.264 中最大的块。宏块可以进一步拆分为多个更小的变换块（Transform blocks）、预测块（Prediction blocks）。变换块的尺寸有：16x16、8x8、4x4。预测块的尺寸有：16×16、16×8、8×16、8×8、8×4、4×8、4×4。
2.2、帧内编码
帧内编码，也称帧内预测。 假设当前的块不在图像边缘，我们可以用上方相邻块边界邻近值作为基础值，也就是上面一行中的每一个值，都垂直向下做拷贝，构建出和源 YUV 块一样大小的预测块，这种构建预测块的方式，我们叫做垂直预测模式，属于帧内预测模式的一种。紧接着，以 4x4 的预测块为例，用源 YUV 的数据和预测 YUV 的数据做差值，得到残差块，这样我们在码流中，就直接传输当前 4x4 块的预测模式的标志位和残差数据就行，这样极大地节省了码流。编码器会选取最佳预测模式，使预测帧更加接近原始帧，减少相互间的差异，提高编码的压缩效率。
与垂直预测模式相似的，还有水平预测模式、均值预测模式（也就是 4x4 的均值填充整个 4x4）等 9 种可选的预测模式，：
2.3、帧间编码
帧间编码，也称帧间预测，用到了运动补偿（Motion compensation）技术。编码器利用块匹配算法，尝试在先前已编码的帧（称为参考帧）上搜索与正在编码的块相似的块。如果编码器搜索成功，则可以使用称为运动矢量的向量对块进行编码，该向量指向匹配块在参考帧处的位置。在大多数情况下，编码器将成功执行，但是找到的块可能与它正在编码的块不完全匹配，这时编码器将计算它们之间残差值。这些残差值称为预测误差，需要进行变换并将其发送给编码器。综上所述，如果编码器在参考帧上成功找到匹配块，它将获得指向匹配块的运动矢量和预测误差。使用这两个元素以及帧间预测模式标志位，解码器将能够恢复该块的原始像素。如果一切顺利，该算法将能够找到一个几乎没有预测误差的匹配块，因此，一旦进行变换，运动矢量加上预测误差的总大小将小于原始编码的大小。如果块匹配算法未能找到合适的匹配，则预测误差将是可观的。因此，运动矢量的总大小加上预测误差将大于原始编码。在这种情况下，编码器将产生异常，并为该特定块发送原始编码。
3、变换 + 量化
把经过预测后得到的残差值经过 DCT 变换（Discrete Cosine Transform，译为离散余弦变换），目的是把直流和低频（相对平坦，图像或块中大部分占比）能量集中在左上，高频（细节，图像或块中少部分占比）能量集中在右下。DCT 本身虽然没有压缩作用，仅仅是去掉了数据的相关性，却为后面进一步压缩数据时的取舍，奠定了必不可少的基础。
变换后直流分量 DC 都集中在左上角，是整块像素的求和的均值。由于人眼对高频信号不敏感，我们可以定义这样一个变量 QP = 5，将变换块中所有的值都除以 QP，这样做进一步节省传输码流位宽，同时主要去掉了高频分量的值，在解码端只需要将变换块中所有的值在乘 QP 就可以基本还原低频分量。
我们将 QP 运算的过程称为量化，可见量化值越大，丢掉的高频信息就越多，再加上编码器中都是用整形变量代表像素值，所以量化值最大还原的低频信息也会越不准确，即造成的失真就越大，块效应也会越大，视频编码的质量损失主要来源于此。
4、滤波
---- 后续更新 ----
5、熵编码
熵的大小与信源的概率模型有着密切的关系，各个符号出现的概率不同，信源的熵也不同。当信源中各事件是等概率分布时，熵具有极大值。信源的熵与其可能达到的最大值之间的差值反映了该信源所含有的冗余度。信源的冗余度越小，即每个符号所独立携带的信息量越大，那么传送相同的信息量所需要的序列长度越短，符号位越少。因此，数据压缩的一个基本的途径是去除信源的符号之间的相关性，尽可能地使序列成为无记忆的，即前一符号的出现不影响以后任何一个符号出现的概率。
利用信源的统计特性进行码率压缩的编码就称为熵编码，也叫统计编码。熵编码是无损压缩编码方法，它生成的码流可以经解码无失真地恢复出原数据。熵编码是建立在随机过程的统计特性基础上的。
视频编码常用的有两种：变长编码（哈夫曼编码）、算术编码。
H.264 最后将结果进行熵编码，分为上下文自适应的变长编码（Context-based Adaptive Variable-Length Coding，CAVLC）与上下文自适应的二进制算术编码（Context-based Adaptive Binary Arithmetic Coding，CABAC）。
三、H.264 的主要规格
1、Baseline Profile（BP）
支持 I / P 帧，只支持无交错（Progressive）和 CAVLC；
一般用于低阶或需要额外容错的应用，比如视频通话、手机视频等即时通信领域。
2、Extended Profile（XP）
在 Baseline 的基础上增加了额外的功能，支持流之间的切换，改进误码性能；
支持 I / P / B / SP / SI 帧，只支持无交错（Progressive）和 CAVLC；
适合于视频流在网络上的传输场合，比如视频点播。
3、Main Profile（MP）
提供 I / P / B 帧，支持无交错（Progressive）和交错（Interlaced），支持 CAVLC 和 CABAC；
用于主流消费类电子产品规格如低解码（相对而言）的 MP4、便携的视频播放器、PSP 和 iPod 等。
4、High Profile（HiP）
最常用的规格，在 Main 的基础上增加了 8x8 内部预测、自定义量化、无损视频编码和更多的 YUV 格式（如 4:4:4）；
High 4:2:2 Profile（Hi422P）；
High 4:4:4 Predictive Profile（Hi444PP）；
High 4:2:2 Intra Profile；
High 4:4:4 Intra Profile；
用于广播及视频碟片存储（蓝光影片），高清电视的应用。