H.266/VVC技术学习:帧内预测之ISP技术

Intra Sub-Partitions (ISP)

ISP技术就是根据块形状将亮度预测块垂直或者水平划分为2个或者4个子分区。ISP技术应用的最小块尺寸为8x4和4x8,最大尺寸为64x64。由于VVC限制分区内至少有16个样点,对于8x4和4x8的块,ISP将其划分为2个子分区,对于更大的块,将其划分为四个子分区。

块尺寸 子块数量
4x4 不划分
4x8、8x4 2
其他 4

H.266/VVC技术学习:帧内预测之ISP技术_第1张图片

                                                           a)    Examples of sub-partitions for 4x8 and 8x4 CUs 

H.266/VVC技术学习:帧内预测之ISP技术_第2张图片

                                                  b)    Examples of sub-partitions for CUs other than 4x8, 8x4 and 4x4

划分后的TU采用的帧内预测模式相同,是PLANAR模式或者DC模式或者常规帧内角度模式。

由于1xN和2xN的子块在不允许用重建的1xN和2xN的子块做参考,因此子块预测最小预测块宽度是4,但是变换块的最小宽度是1。这样4个块可以并行。

每个子块通过将残差信号加上预测信号得到重建信号,其中残差信号通过熵解码、反量化、反变换得到。每个子块的重建信号可用于生成下一个子块的预测值。此外,需要处理的第1个子块是包含CU中左上角像素的子块,然后按照向下(水平划分)或向右(垂直划分)处理各个子块。所有子块共享同一种帧内预测模式。

ISP与其他工具之间关系:

  • 使用MRL(多参考行)时禁止使用ISP技术
  • 熵编码系数组长度:使用ISP时,所有子块的熵编码都以16个样点为一组。这主要对ISP划分后子块某一维度小于4的情况有影响。其他情况下熵编码系数组都是4x4。如下表。
Block Size Coefficient group Size
1xN,N>=16 1x16
Nx1,N>=16 16x1
2xN,N>=8 2x8
Nx2,N>=8 8x2
others 4x4
  • CBF编码:使用ISP时假定至少有一个子块CBF不为0。如果有n个子块,前n-1子块的CBF都是0,则默认第n个为1。
  • MPM:使用ISP时,默认使用MPM里的预测模式,且MPM里不加入DC模式。如果ISP是水平划分则MPM里水平模式优先,垂直划分是垂直模式优先。
  • 变换核尺寸限制:尺寸大于16时使用DCT-2变换
  • PDPC:CU使用ISP时,不使用PDPC
  • MTS flag:如果CU使用ISP,则该CU的MTS flag被置为0,且不用传到解码端。对于ISP模式,其变换核的选择与尺寸有关,即
    • ( nTbW >= 4 && nTbW <= 16 ) ? DST7 : DCT2
    • ( nTbH >= 4 && nTbH <= 16 ) ? DST7 : DCT2

ISP可以使用帧内预测的67种模式,如果相应的宽和高大于等于4时,则也会应用PDPC。

你可能感兴趣的:(H.266/VVC)