H.266/VVC技术学习：帧内预测之ISP技术

Intra Sub-Partitions (ISP)

ISP技术就是根据块形状将亮度预测块垂直或者水平划分为2个或者4个子分区。ISP技术应用的最小块尺寸为8x4和4x8，最大尺寸为64x64。由于VVC限制分区内至少有16个样点，对于8x4和4x8的块，ISP将其划分为2个子分区，对于更大的块，将其划分为四个子分区。

块尺寸	子块数量
4x4	不划分
4x8、8x4	2
其他	4

                                                           a)    Examples of sub-partitions for 4x8 and 8x4 CUs 

                                                  b)    Examples of sub-partitions for CUs other than 4x8, 8x4 and 4x4

划分后的TU采用的帧内预测模式相同，是PLANAR模式或者DC模式或者常规帧内角度模式。

由于1xN和2xN的子块在不允许用重建的1xN和2xN的子块做参考，因此子块预测最小预测块宽度是4，但是变换块的最小宽度是1。这样4个块可以并行。

每个子块通过将残差信号加上预测信号得到重建信号，其中残差信号通过熵解码、反量化、反变换得到。每个子块的重建信号可用于生成下一个子块的预测值。此外，需要处理的第1个子块是包含CU中左上角像素的子块，然后按照向下（水平划分）或向右（垂直划分）处理各个子块。所有子块共享同一种帧内预测模式。

ISP与其他工具之间关系：

• 使用MRL（多参考行）时禁止使用ISP技术
• 熵编码系数组长度：使用ISP时，所有子块的熵编码都以16个样点为一组。这主要对ISP划分后子块某一维度小于4的情况有影响。其他情况下熵编码系数组都是4x4。如下表。

Block Size	Coefficient group Size
1xN,N>=16	1x16
Nx1,N>=16	16x1
2xN,N>=8	2x8
Nx2,N>=8	8x2
others	4x4

• CBF编码：使用ISP时假定至少有一个子块CBF不为0。如果有n个子块，前n-1子块的CBF都是0，则默认第n个为1。
• MPM：使用ISP时，默认使用MPM里的预测模式，且MPM里不加入DC模式。如果ISP是水平划分则MPM里水平模式优先，垂直划分是垂直模式优先。
• 变换核尺寸限制：尺寸大于16时使用DCT-2变换
• PDPC：CU使用ISP时，不使用PDPC
• MTS flag：如果CU使用ISP，则该CU的MTS flag被置为0，且不用传到解码端。对于ISP模式，其变换核的选择与尺寸有关，即
  • ( nTbW >= 4 && nTbW <= 16 ) ? DST7 : DCT2
  • ( nTbH >= 4 && nTbH <= 16 ) ? DST7 : DCT2

ISP可以使用帧内预测的67种模式，如果相应的宽和高大于等于4时，则也会应用PDPC。