HEVC学习笔记（1）——数字视频编码技术原理

一、基础知识点
1、像素：每个采样点得到的数据
2、分辨率：一幅图像采样的行数和列数
3、数字视频中冗余的根本原因——过采样（空间、时间）
空间过采样：图像中一些空间频率不高的区域使用较高采样率
时间过采样：没有变化的空间区域，等间隔重复的采样
4、压缩的实现——消除冗余
（1）消除空间冗余：
①预测估计（用周边的像素）
②正交变换（将空间域图像信号的像素矩阵变换到频率域上进行处理）
（2）消除时间冗余：运动补偿的预测方法
（3）消除信息熵冗余：熵编码
5、单位时间内采集到的视频图像的帧数称为帧率，常用的帧率单位为“帧/秒”。

二、视频编码标准基本框架

当前所有主流的视频编码标准都采用了该整体框架，其基本编码流程如下：
1） 由视频源输入图像，图像被分割成宏块(Macroblock，简称MB)，每个宏块包括1个16×16像素的亮度分量及2个8×8像素的色度分量 (对于4:2:0采样格式，见2.1.1节)，按光栅扫描依次处理，以宏块为单位进行编码；
2） 由码流控制模块根据宏块特性和当前比特分配情况决定采用帧内编码或者帧间编码；
3） 如果采用帧内编码，可采用频域或空域预测，预测残差进行变换和化处理；
4） 如果采用帧间编码，先进行运动估计，在解码缓存中找到与当前处理宏块最相似的重构图像块，获得运动矢量信息，然后将预测残差进行变换和量化处理；
5） 将量化后的残差系数、运动信息送入熵编码器，从而生成最终的编码码流；
6） 为避免预测所带来的误差偏移累积，在编码端包含一个解码模块，将量化后的残差数据经过反量化和反变换，重建残差信号，并且与帧内或帧间预测的参考信号相加，得到重建图像。将此图像存入到解码缓存中，以用于将来图像的预测参考；
7） 对于重构图像，可以采用环内去块效应滤波器来减轻人工编码痕迹，处理后的图像用作将来的预测参考。另一种处理方式是在显示前进行后处理滤波操作，同样能够改进图像生成质量，但它并不影响预测编码。
三、视频编码原理
1、信息量是用事件的不确定性程度定义的

2、一个信源若由N 个随机事件组成，N 个随机事件的平均信息量就定义为信息熵

3、互信息是信息论中另外一个重要的概念，它反映了两个信源之间的相关性

互信息I(X; Y)表示收到信源Y的信息后，获得信源X的信息量的数学期望。
在数据压缩中，当获得了信源Y的信息，就可以知道信源X的部分信息，因此就不必再编码信源X的全部信息，这样可以达到去除冗余的目的。

四、视频编码技术
大部分视频序列只是有一部分变化的图像，只要把变化的图像信息编码进行传输就行了。
1、预测
帧间预测（前向P帧、双向B帧）消除空域冗余
帧内预测 I帧：消除时域冗余
2、变换
通过变换将空域信号转换为频域信号来去除空间信号的冗余信息，减少编码数据
3、量化
量化是降低数据表示精度的过程，通过量化可以减少需要编码的数据量，达到压缩数据的目的（有损压缩——引起失真）
4、扫描
5、熵编码
视频编码常用的熵编码方法有两种：变长编码(如huffman编码：有两个缺点，一个是编码器建立哈夫曼树的计算开销巨大，另一个是编码器需要给解码器传送哈夫曼码字表，解码器才能正确解码，这会降低压缩效率)和**算术编码(**Arithmetic Coding)。