Overview of HEVC之4 帧内预测

帧内预测是根据传输块的尺寸进行操作的，并且空间上相邻传输块的先前解码的边界像素被用来形成预测信号，对4*4到32*32的传输块定义了33种不同的方向预测。图6显示了可能的预测方向。另外也用到了平面预测（假设水平和垂直斜率的振幅表面来自于边界）与直流预测（一个平面的值与边界像素的均值相匹配），对于色度，有水平、垂直、平面、直流这四种预测模式。色度预测模式和亮度预测模式一样。

      每个编码块可以通过几种编码方式中的一种进行编码，这取决于片的类型。和H264类似的是，帧内预测编码支持所有片类型。HEVC支持各种帧内编码模式，这些编码模式被称作为帧内角度、帧内平面、帧内直流模式。

      PB划分：一个尺寸为M*M的帧内预测CB可能有两种PB类型的划分，这两种类型的划分是PART_2N*2N,PART_N*N，第一种划分表示CB没有被分割，第二种划分表示CB被分割成四个尺寸相等的PBs（概念上N=M/2），然而当当前CB的尺寸大于最小的CU时，四个PB会使用四个更小的CB来表示相同区域，当当前CB的尺寸和最小的CU相等时，HEVC仅仅允许使用PART_N*N这种划分模式。这也意味着利用帧内预测模式编码CB，CB的尺寸不等于最小CU时，PB的尺寸总是等于最小CU的尺寸。尽管帧内预测模式建立在PB级，实际上的预测过程同每个TB是分开操作的。

      帧内角度预测：在H264中，空域帧间预测已经取得了成功，HEVC在空域的帧间预测得到进一步的延伸，这主要是由于TB尺寸的增加和可选预测方向数目的增加。和H264的8个预测方向相比，HEVC支持33个预测方向，表示为Intra−Angular[k]，K的取值范围是2-34.

这些角度密集的覆盖了临近的水平和垂直角度，粗略的覆盖了临近的对角线角度，以反映角度的观测统计性和信号预测过程的有效性。

        当使用Intra_Angular模式时，每个TB都是使用空域上相邻的已重建的像素来预测；如图6所示，对于一个尺寸为N*N的TB，有4N+1个空域上相邻的像素可用来预测。当之前的解码操作有效时，在HEVC中除了当前TB左边的TBs，上面的TBs和右上角的TBs外，左下角的TBs像素也可用作预测。

        Intra_Angular模式的预测处理可以从给定的方向的像素位置中推断得到，为了去掉在参考行和列缓冲区之间像素的切换，Intra_Angular[k]中的k为2-17时，位于上行的像素被投影成位于左列的额外像素；k为18-34时，位于左列的像素被投影成位于上行的像素；

        为了提高帧内预测的精度，被投影的参考像素位置使用1/32像素精度计算，为了获得被投影的参考像素的值，要对位于整数位置间的两个最近的参数像素使用线性插值。

        Intra_Angular模式的预测处理可以用于所有块尺寸和预测方向，然而H.264/MPEG-4 AVC对4x4,8x8,16x16的块尺寸使用不同的帧内预测模式集；和H264相比， HEVC的预测方向增加了。

        帧内planar和帧内DC预测：除了Intra_Angular预测外，HEVC还和H.264/MPEG-4 AVC一样，支持Intra_Planar, Intra_DC预测模式；Intra_DC使用参考像素的均值进行预测；Intra_Planar使用四个角的参考像素得到的两个线性预测的均值预防块边缘的间断点;在HEVC中，Intra_Planar预测模式可用于所有块尺寸，不像在H.264/MPEG-4 AVC中，plane预测模式只能用在16x16的亮度块，且它们的方法也不一样；

参考像素平滑：在HEVC中，用于帧内预测的参考像素可以使用三阶([1 2 1]/4)平滑滤波器来平滑，这个和H.264/MPEG-4 AVC中的8x8帧内预测模式一样；HEVC可以根据预测方向，不连续的数量，和块大小来灵活的应用平滑操作；而在H.264/MPEG-4 AVC中，平滑操作不能用于4x4块，对于8x8块，也只能用于对角线预测方向；HEVC则可以对Intra_Angular[k], k=2, 18, 34，使用参考像素平滑；对于16x16块，除了近水平和近垂直方向外，可以对k为9-11和25-27预测方向使用参考像素平滑滤波；对于32x32块，除了水平(k=10)和垂直(k=26)方向外，可以对所有剩下的预测方向使用参考像素平滑滤波；当检测到不连续的数量超过阈值时，可以对三个相邻区域像素使用线性插值来做平滑预测；

当块尺寸等于或大于8x8时，Intra_Planar模式也可以使用平滑滤波；但是不能对Intra_DC模式使用平滑滤波操作。

边界值平滑：有3种模式（Intra−DC、Intra−Angular[k] with k= 10 or 26）可以去除块边界的不连续性，当TB的尺寸小于32x32时，TB内的边界像素将被滤波后的值替代；对于Intra_DC模式，TB内的第一行和第一列的像素，使用以原像素和相邻像素作为二阶([3 1]/4)滤波器输入的输出值代替；

对于Intra_Angular[10],水平方向，TB的第一列边界像素，使用相邻参考像素的差值，再加上左上角参考像素除二来代替；对于Intra_Angular[26],垂直方向，TB的第一行边界像素，和水平的处理类似；

参考像素的替代：在片和瓦片的边界，相邻参考像素是无效的；另外，当受限帧内预测的丢失恢复功能开启后，为了避免由前面的解码图像造成差错扩散，所有帧间预测PB的相邻参考像素也是无效的；在H.264/MPEG-4 AVC中只有Intra_DC预测模式能使用这个功能；HEVC则允许使用相邻有效的参考像素值替换无效的参考像素值后用于其它帧内预测模式；

编码模式：HEVC对所有块尺寸的亮度预测支持33种Intra_Angular，Intra_Planar, Intra_DC预测模式；由于方向的增加，HEVC在编码亮度帧内预测模式时要考虑三种最可能模式(MPM)的预测；而H.264/MPEG-4 AVC只考虑最可能模式的预测；

在这三个最可能模式中，如果相邻的上方和左方的PB都有效且是帧内预测编码模式，则前两个使用上方和左方的PB的亮度帧内预测模式来初始化；所有无效的预测模式都被认为是Intra_DC；为了避免需要存储相邻亮度预测模式的一行buffer，亮度CTB之上的PB都认为是无效的；

当前两个最可能模式不相等时，第3个最可能的模式是Intra_Planar，Intra_DC,或Intra_Angular[26](垂直)，这3种模式在顺序上不是对前两种模式中的一种复制；当前两个最可能模式相等时，如果第一个模式的值为Intra_Planar或Intra_DC,则依据Intra_Planar，Intra_DC,或Intra_Angular[26](垂直)这三种模式，将第二个和第三个模式依据顺序上的不重复设为这三个模式中的两个；当前两个最可能模式是相等时，且第一个模式的值为Intra_Angular，则将第二个和第三个最可能模式设为和第一个模式的角度最接近的两个角度预测模式；

如果当前的亮度预测模式是三个最可能模式(MPM)中的一种，则只有MPM的索引号被传输给解码器；否则，除了三个最可能模式（MPMs）外，当前亮度预测模式的索引也要使用5比特的定长码字传输给解码器；

对于色度帧内预测模式，HEVC允许其选择Intra_Planar, Intra_Angular[26](垂直), Intra_Angular[10](水平),Intra_DC,Intra_Derived,这五种模式之一：其中，Intra_Derived是将色度预测模式设定为对应亮度块的帧内方向预测模式；对于这样一种设计，在原则上，HEVC支持的所有亮度方向预测模式在色度上也同样支持；这样的设计很好地取得了预测精度和信号传输开销间的平衡；

被选择的色度预测模式是直接编码的(不使用对预测模式进行预测的机制);