解读HEVC视频标准的环内滤波
1.0 引言
高效视频编码(HEVC)是H.264/MPEG-4 AVC(高级视频编码)的一种升级版视频压缩标准(即ISO/IEC 23008-2 MPEG-H第2部分和ITU-T H.265)是由ISO/IEC动态图像专家组(MPEG)和ITU-T视频编码专家组(VCEG)共同编写的。与业界标准H.264相比，HEVC能够以几乎同样的视频质量实现半比特速率，并且有望在视频应用中得到广泛运用，其中包括：手机、广播、机顶盒、视频会议、视频监控、车载等。
下图显示了带有环路滤波的HEVC视频解码器结构图，突出显示的即为环路滤波。如图所示，它是一个可去除视频编码过程中块效应的两个级组成的级联，即去块效应滤波(DBLK)和采样自适应偏移(SAO)滤波。接下来的两部分内容将详细描述这个级。
图1 HEVC视频解码器结构图
2.0 去块效应滤波(DBLK)
本部分将阐述去块效应滤波，如HEVC视频标准[1]所述。去块效应滤滤器运行可大体可分为两部分：
1. 滤波器边缘上的边界滤波强度(aka BS)计算
2. 滤波器的实际运行
纵观整个去块效应滤波器运行，本文献采用了以下惯例：Q像素位于“纵向”滤波器的右侧，P像素位于“纵向”滤波器左侧。同样，Q属于“横向”滤波器边缘下方的像素，P属于“横向”滤波器边缘上方的像素。
图2 环内去块效应滤波中称为惯例的相邻像素
2.1 滤波器边缘强度(aka BS)
边界滤波强度[hor/ver][xpos][ypos]计算是在一个8x8网格上完成的，取值0、1、2，如下图所示：
虽然在8x8网格的每个像素边缘上都有滤波器(8x8结构包括4像素边缘),但就一个4像素段的所有像素而言，边界滤波强度计算的属性可以被组合。就强度计算而言，我们假设每个4像素段作为一个级。请注意，边界滤波强度计算取决于当前、左侧和顶部LCU LCUinfo。
图3 边界滤波强度(BS)结构图，在8x8网格中显示了边缘及其编号
2.1.1 边界滤波强度功能概述
边界滤波强度计算是在一个8x8网格上完成的，设置图片为0，且分片边界(slice boundarie) (if loop_filter_across_slice_enabled_flag = 0)，Tile边界(loop_filter_across_tile_enabled_flag = 0).
只有8x8像素边界经过滤波，即预测单元(PU)和/或转换单元(TU)边界,滤波过程如下。
图4 PU和TU部分的边界滤波强度(BS)与边缘调谐
边界滤波强度推导规则：
感兴趣的读者可参见HEVC规范，了解以下内容：
1. 边界滤波强度的TU边界滤波强度推导：8.7.2.1章节
2. 边界滤波强度的PU边界滤波强度推导：8.7.2.2章节
3. 边界滤波强度推导：8.7.2.3章节
2.1.2 色度边界滤波强度推导
只有8x8色度像素网格上的PU和/或TU边界得到滤波。色度边界滤波强度值源自亮度边界滤波强度值。就色度滤波器4:2:0 (q0, p0)采样而言，从相应的(2q0, 2p0)亮度采样(即BS{Hor/ver}[xpos/2][ypos/2]图中的2因素下行采样)获取边界滤波强度。
图5 色度边界滤波强度映射：匹配到8x8网格然后除以2
2.2 滤波器运行
该部分将阐述去除HEVC视频标准中特定块效应的实际滤波。
2.2.1 滤波器的阶数
就HEVC而言，规定的滤波器阶数为帧级(不是LCU级)，如下所示：
1. 在整个帧处理过程中，对所有块的竖向边缘都进行了H滤波。
2. 在整个帧处理过程中，对所有块的横向边缘都进行了V滤波。
滤波是完全独立的8x8滤波段，如图6所示：
图6 8x8块级独立滤波
是否需要亮度/色度(开启/关闭判定)滤波、滤波级别(弱滤波/强滤波)以及最终的实际滤波运行将在下面章节阐述。
2.2.2 亮度滤波器开启/关闭以及弱/强滤波的判定
滤波器开/关判定和亮度强/弱判定是根据上图所示的四个行列段进行的。
如果边界滤波强度等于0，则按顺序进行以下步骤：
qPL= ((QPP+QPQ+1)>>1), QPP 和 QPQ 为亮度 QPs
β = BETA_TABLE[Clip3(0,51,qPL+(beta_offset_div2<<1)) ]
tc = TC_TABLE[Clip3(0,53,qPL+2*(BS-1)+(tc_offset_div2<<1)) ]
dp0 = |p2,0-2*p1,0+p0,0| ; dp3 =|p2,3-2*p1,3+p0,3|
dq0 = |q2,0-2*q1,0+q0,0| ; dq3 = |q2,3-2*q1,3+q0,3|
dpq0 = dp0+dq0 ; dpq3 = dp3+dq3
dp = dp0+dp3 ; dq = dq0+dq3
dE = dEp = dEq = 0
如果 (dpq0 + dpq3 < β) //滤波器开/关判定
If ( (2*dpq0 <(β>>2)) && ( |p3,0- p0,0| + |q3,0- q0,0| <(β>>3)) && ( | p0,0- q0,0| <((5*tc+1)>>1))) dSam0 = 1
If ( (2*dpq3 <(β>>2)) && ( |p3,3- p0,3| + |q3,3- q0,3| <(β>>3)) && ( | p0,3- q0,3| <((5*tc+1)>>1))) dSam3 = 1
如果 (dSam0 ==1 && dSam3 ==1) dE = 2 (strong filter); 其他 dE = 1 (弱滤波);
如果 (dp < ((β+(β>>1))>>3) ) dEp = 1 //对滤波采样的数量进行弱滤波
If (dq < ((β+(β>>1))>>3) ) dEq = 1 //对滤波采样的数量进行弱滤波
图7 去块效应滤波中滤波开/关以及滤波强度判定中的像素使用
表1 qp、tc和β(BETA_TABLE和TC_TABLE)之间的关系
2.2.3 亮度强滤波以及弱滤波
2.2.3.1 亮度强滤波机制
4像素部分共享同一个判定(dE, dEp, dEq)
如果(dE == 2)，则进行强滤波以修改每端的三个像素
p0' = Clip3( p0?2*tc, p0+2*tc, ( p2 + 2*p1 + 2*p0 + 2*q0 + q1 + 4 ) >> 3 )
p1' = Clip3( p1?2*tc, p1+2*tc, ( p2 + p1 + p0 + q0 + 2 ) >> 2 )
p2' = Clip3( p2?2*tc, p2+2*tc, ( 2*p3 + 3*p2 + p1 + p0 + q0 + 4 ) >> 3 )
q0' = Clip3( q0?2*tc, q0+2*tc, ( p1 + 2*p0 + 2*q0 + 2*q1 + q2 + 4 ) >> 3 )
q1' = Clip3( q1?2*tc, q1+2*tc, ( p0 + q0 + q1 + q2 + 2 ) >> 2 )
q2' = Clip3( q2?2*tc, q2+2*tc, ( p0 + q0 + q1 + 3*q2 + 2*q3 + 4 ) >> 3 )
图8 亮度DBLK滤波和边缘周围像素点的使用
2.2.3.2 亮度弱滤波机制
4像素部分共享同一个判定(dE, dEp, dEq)
如果(dE == 1)，则进行弱滤波以修改每端的一个或二个像素
D = (9*(q0– p0)-3*(q1–p1)+8)>>4
如果 (aBS(Δ) < tc*10)，则顺序进行以下步骤：
滤波采样值p0’和q0’规定如下：
Δ = Clip3(-tc,tc,Δ)
p0’ = Clip1Y(p0+Δ)
q0’ = Clip1Y(q0-Δ)
If dEp等于1，则滤波采样值p1’规定如下：
Δp = Clip3(-(tc>>1),tc>>1,(((p2+p0+1)>>1)–p1+Δ)>>1)
p1’ = Clip1Y(p1+Δp)
if dEq等于1,则滤波采样值q1’规定如下：
Δq = Clip3(-(tc>>1),tc>>1,(((q2+q0+1)>>1)–q1–Δ)>>1)
q1’ = Clip1Y(q1+Δq))
2.2.4 色度滤波
只有8x8色度像素网格上的PU和/或TU边界得到滤波
边界滤波强度源自亮度(对每个方向进行２因素下行采样)(请参见色度边界滤波强度推导小节)
qPI = ( (( QPQ + QPP + 1 ) >> 1) + cqp_offset ), 其中此处的cqp_offset分别代表组件Cb/U和Cr/V的pic_cb_qp_offset和pic_cr_qp_offset。
下表的qPI包括了qPC
图9 色度DBLK滤波和边缘周围像素点的使用
表2 QPc向qPi转换
tc = TC_TABLE[Clip3(0,53,qPC+2*(BS-1)+(tc_offset_div2<<1))]
BS > 1时，则Chroma滤波器将被开启
Δ = Clip3(-tC,tC,((((q0–p0)<<2)+p1–q1+4)>>3))
p0’ = Clip1C(p0+Δ)
q0’ = Clip1C(q0-Δ)
2.2.5 IPCM和TQByapss处理
在边缘包含IPCM CU且pcm_loop_filter_disable_flag = 0 OR TQByapss(无损耗)的情况下，像素(位于IPCM/TQBypass内部)将保持无滤波状态，而另外的一半则经过滤波处理，这就是说仅在边缘的一侧进行了滤波处理。我们通常采用以下两种方法完成：
1. 跳过一半的像素进行滤波处理
2. 在两端进行滤波，然后对包含IPCM/TQBypass CU的一半进行Recon像素替换。
2.3 DBLK语法元素(syntax element)
下面的语法元素会影响DBLK的运行，现以表格形式总结如下(带有范围和描述栏)。
表3 DBLK语法元素
3.0 SAO解码器滤波
本部分将对SAO滤波进行阐述，请参见HEVC视频标准[1]。这是一个将偏移添加到去块效应像素值的过程，这一添加过程是根据SAO类型(即根据边缘方向/边缘形状(边缘偏移aka EO)以及像素水平(频带偏移aka BO)或无变化(OFF))进行的。
偏移范围具有下列特征：
1. 8bpp的偏移幅度为[0, 7]，10bpp的偏移幅度为[0, 31]。
2. 在BO情况下，发送信号实现非0幅度偏移。
3. 在EO情况下，根据边缘类型(1和2为(＋)、3和4为(－))对信号进行作出推断。
3.1 边缘偏移(EO)
边缘偏移根据边缘方向可以分为四类(0度、90度、135度和45度)，具体情况请参见下图。
图10 边缘偏移类型，即0度、90度、135度和45度
就选定的方向而言，与四个边缘形状一致的偏移有四个(即种类/边缘指数)。就边缘偏移而言，边缘指数被称为SAO子类型。下图显示了类别的不同类型。
图11 边缘偏移类型/边缘指标和像素映射
图12 边缘偏移类别选择逻辑或公式
如果偏移值属于给定的边缘偏移类型和种类的话，那么该偏移值就会被添加到每个去块效应像素值当中去，否则像素值则保持不变。
3.1.1 频带偏移(BO)
整个像素范围(8bpp为0-255)被平均分为了32个频带，如下图所示。
起始频带的后续频带中有四种偏移。起始频带编码连同四个偏移值被发送。起始频带位置还被称为频带偏移的SAO子类型。
如果偏移值属于给定的1/4频带范围，那么该偏移值就会被添加到每个去块效应像素值当中去，否则像素值则保持不变。
图13 频带分类(像素范围被分为32个频带)
3.1.2 SAO语法元素
影响SAO-解码器运行的语法元素如下表总结所示(包括范围和描述)。
表4 SAO语法元素
3.1.3 边界条件处理
需要条件处理的有三种条件：
1. 图像边界(上、下、左、右)
2. 分片边界以及slice_loop_filter_across_slices_enabled_flag = 0。跨跃分片滤波适用于给定分片边界的左侧和上侧边缘(并非所有方向)
3. 瓦片边界和loop_filter_across_tiles_enabled_flag = 0
在上述情况中，分片边界沿线的像素未被处理，具体取决于SAO类型。
就BO而言，所有像素都将被处理。
就EO而言，像素有效性将根据SAO类型进行，如果在边界条件下像素无效，其将跳过进行处理(即0漂移)。
下图对边界条件处理进行了描述。
图14 SAO解码器的边界处理实例
3.1.4 条件处理
在下列条件时，SAO滤波将关闭。
SAO类型idx = OFF
CU类型 = PCM且环路滤波器被描述为PCM类型
CU类型 = TQBypss(无损耗)
限幅电平SAO = OFF