H.264 SVC的三种Inter Layer Prediction模式

 

几个相关语法元素

• base mode flag：指明一种宏块类型。1表示当前宏块（enhancement layer中）只编码残差信息，帧内编码模式或运动相关信息都有相应的参考层中块推导出来。EL中的宏块无论inter还是intra都可以base mode flag=1。
  

• motion prediction flag: 作用于宏块中每个partition的reference list，指明reference index、motion vector prediction是否由reference layer中相应的块推导出来。

• residual prediction flag：只要当前宏块是inter，无论base mode flag是否为1，都可以采用下述第二种inter-layer prediction。
  

三种层间预测模式：
1 Inter-Layer Motion Prediction
    base mode flag为1，且相应的参考层中的8x8块是帧间编码。Block partition信息、reference index、motion vectors由reference layer中相应的8x8块推导出来。此时block partition信息由reference layer中相应的8x8块的partition信息上采样得到。同时得到与partition相应的reference index、motion vectors（需要先被scale）。
    base mode flag为0时，还可以有一种对motion的interlayer prediction，开关为motion prediction flag：
        - motion prediction flag为1，则与此reference list相关的reference index、motion vector prediciton由reference layer中相应的块推导出来。这里与base mode flag为1时有点区别，这里只是MVP由reference layer推导出来，所以EL还要传送MVD。别忘了motion vectors需要被scale。
        - motion prediction flag为0，传统的帧间宏块。

2 Inter-layer Residual Prediction
    在enhencement layer中的inter-coded宏块，无论是采用base mode flag还是传统的帧间宏块，都可以采用这一方式。
    residual prediction flag为1，则reference layer中相应的8x8块的残差经过bilinear上采样，作为enhencement layer宏块的残差预测，enhencement layer中传送“残差的残差”。需要注意的是这里的上采样不要跨越reference layer的变换块边界，否则会降低视觉效果，具体的处理办法是对边界进行重复外拓。

3 Inter-layer Intra-prediction（Texture Prediction）
    base mode flag为1，且相应的reference layer中的8x8块是帧内编码。
    参考层中的4x4块（4个）被重构，经过去块滤波操作后上采样得到预测信号。亮度上采样采用的是4-tap的FIR滤波器，色度上采样采用的是bilinear滤波器。而后，ehencement layer传送残差系数，经反变换后加到预测信号上。
    在upsampling之前，需要对reference layer的重构信息进行去块滤波。
    为了保证sigle loop的解码，需要避免在reference layer进行motion compensation，即Constrained Inter-layer Intra-prediction。



下图说明的是upsampling