H264的主要目标是：
- 高的视频压缩比，当初提出的指标是比H.263，MPEG-4，约为它们的2 倍，现在都已基本实现；
- 良好的网络亲和性，即可适用于各种传输网络。
为此，H.264 的功能分为两层，即视频编码层（VCL）和网络提取层（NAL)。
VCL 数据即编码处理的输出，它表示被压缩编码后的视频数据序列。在VCL 数据传输或存储之前，这些编码的VCL 数据，先被映射或封装进NAL 单元中。
H264压缩技术主要采用了以下几种方法对视频数据进行压缩。包括：
- 帧内预测压缩，解决的是空域数据冗余问题。
- 帧间预测压缩（运动估计与补偿），解决的是时域数据冗徐问题。
- 整数离散余弦变换（DCT），将空间上的相关性变为频域上无关的数据然后进行量化。
- CABAC压缩。
经过压缩后的帧分为：I帧，P帧和B帧:
- I帧：关键帧，采用帧内压缩技术。
- P帧：向前参考帧，在压缩时，只参考前面已经处理的帧。采用帧音压缩技术。
- B帧：双向参考帧，在压缩时，它即参考前而的帧，又参考它后面的帧。采用帧间压缩技术。
- GOP:两个I帧之间是一个图像序列，在一个图像序列中只有一个I帧。
H264压缩技术
1. 划分宏块
2. 划分子块
3. 帧分组
对于视频数据主要有两类数据冗余:
- 一类是时间上的数据冗余;
- 另一类是空间上的数据冗余。
其中时间上的数据冗余是最大的。下面我们就先来说说视频数据时间上的冗余问题:
假设摄像头每秒抓取30帧，这30帧的数据大部分情况下都是相关联的。也有可能不止30帧的的数据，可能几十帧，上百帧的数据都是关联特别密切的。
对于这些关联特别密切的帧，其实我们只需要保存一帧的数据，其它帧都可以通过这一帧再按某种规则预测出来，所以说视频数据在时间上的冗余是最多的。
为了达到相关帧通过预测的方法来压缩数据，就需要将视频帧进行分组。那么如何判定某些帧关系密切，可以划为一组呢？我们来看一下例子，下面是捕获的一组运动的台球的视频帧，台球从右上角滚到了左下角。
H264编码器会按顺序，每次取出两幅相邻的帧进行宏块比较，计算两帧的相似度。
通过宏块扫描与宏块搜索可以发现这两个帧的关联度是非常高的。进而发现这一组帧的关联度都是非常高的。因此，上面这几帧就可以划分为一组。==其算法是：在相邻几幅图像画面中，一般有差别的像素只有10%以内的点,亮度差值变化不超过2%，而色度差值的变化只有1%以内，我们认为这样的图可以分到一组。==
在这样一组帧中，经过编码后，我们只保留第一帖的完整数据，其它帧都通过参考上一帧计算出来。我们称第一帧为IDR／I帧，其它帧我们称为P／B帧，这样编码后的数据帧组我们称为GOP。
运动估计与补偿
在H264编码器中将帧分组后，就要计算帧组内物体的运动矢量了。
H264编码器首先按顺序从缓冲区头部取出两帧视频数据，然后进行宏块扫描。当发现其中一幅图片中有物体时，就在另一幅图的邻近位置（搜索窗口中）进行搜索。如果此时在另一幅图中找到该物体，那么就可以计算出物体的运动矢量了。
运动矢量计算出来后，将相同部分减去，就得到了补偿数据。我们最终只需要将补偿数据进行压缩保存，以后在解码时就可以恢复原图了。压缩补偿后的数据只需要记录很少的一点数据。如下所示：
我们把运动矢量与补偿称为帧间压缩技术，它解决的是视频帧在时间上的数据冗余。除了帧间压缩，帧内也要进行数据压缩，帧内数据压缩解决的是空间上的数据冗余。下面我们就来介绍一下帧内压缩技术
帧内预测
人眼对图象都有一个识别度，对低频的亮度很敏感，对高频的亮度不太敏感。所以基于一些研究，可以将一幅图像中人眼不敏感的数据去除掉。这样就提出了帧内预测技术。
- H264的帧内压缩与JPEG很相似。一幅图像被划分好宏块后，对每个宏块可以进行 9 种模式的预测。找出与原图最接近的一种预测模式。
然后，==将原始图像与帧内预测后的图像相减得残差值。== - 再将我们之前得到的预测模式信息一起保存起来，这样我们就可以在解码时恢复原图了。
DCT 压缩
把宏块的每一个像素进行量化，再用 DCT 数学方法压缩得到 DCT Coefficient。只有左上角有数据，右下角就没数据了。数据量减少了。数学知识: 傅里叶变换.
CABAC 压缩:
无损压缩
NALU Header
forbidden_zero_bit:
对应1个bit,这个值应该为0，当它不为0时，表示网络传输过程中，当前NALU中可能存在错误，解码器可以考虑不对这个NALU进行解码。
nal_ref_idc
对应2个bit,取值0~3，代表当前这个NALU的重要性，取值越大，代表当前NALU越重要，就需要优先被保护。尤其是当前NALU为图像参数集、序列参数集或IDR图像时，或者为参考图像条带（片/Slice），或者为参考图像的条带数据分割时，nal_ref_idc值肯定不为0。
而当NALU 类型，nal_unit_type为6、9、10、11、或12时，nal_ref_idc都为0。
【注】IDR帧，即：即时解码刷新图像，它是一个序列的第一个图像，H.264引入IDR图像是为了解码的重新同步。当解码器解码到IDR图像时，立即将参考帧队列清空，将已解码的数据全部输出或抛弃，重新查找参数集，开始一个新的序列。这样一来，如果前一个序列发生重大错误，在这里就可以获得重新同步。
nal_unit_type
对应5个bit,nal_unit_type的值为1-5时，表示RBSP里面包含的数据为条带（片/Slice）数据，所以值为1-5的NALU统称为VCL（视像编码层）单元，其他的NALU则称为非VCL NAL单元。
当nal_unit_type为7时，代表当前NALU为序列参数集，为8时为图像参数集。这也是我们打开.h264文件后，遇到的前两个NALU，它们位于码流的最前面。
而且当nal_unit_type为14-31时，我们可以不用理睬，目前几乎用不到。
原理
H.264原始码流（又称为“裸流”）是由一个一个的NALU组成的。
H264比特流 = Start_Code_Prefix + NALU + Start_Code_Prefix + NALU + …
其中每个NALU之间通过startcode（起始码）进行分隔，起始码分成两种：0x000001（3Byte）或者0x00000001（4Byte）。如果NALU对应的Slice为一帧的开始就用0x00000001，否则就用0x000001。
H.264码流解析的步骤就是首先从码流中搜索0x000001和0x00000001，分离出NALU；然后再分析NALU的各个字段。
NALU = NALU Header + RBSP（原始字节序列载荷）
NALU = NALU Header + EBSP（扩展字节序列载荷）
EBSP相较于RBSP，多了防止竞争的一个字节：0x03。
RBSP和SODB
得到RBSP之后，我们迫切想做的，就是从RBSP中，提取出原始编码数据SODB（String Of Data Bits）。
这就涉及到RBSP与SODB的关系：
RBSP = SODB + RBSP尾部
而且RBSP的尾部，在规定中有两种，我们分别介绍。
- RBSP尾部:
rbsp_stop_one_bit 占1个比特位，值为1
rbsp_alignment_zero_bit 值为0，目的是为了进行字节对齐，占据若干比特位
所以RBSP就等于，SODB在它的最后一个字节的最后一个比特后，紧跟值为1的1个比特，然后增加若干比特的0，以补齐这个字节。
- 条带RBSP尾部
解析NALU的各个句法元素并不难，只要根据h264文档对应章节的句法，并配合相应的编解码算法解析即可。而相应的编解码算法如指数哥伦布编码、CAVLC、CABAC、算术编码，我们会一步步涉猎。