由三个部分组成:
一. 二进制化 (主要是将非二制的各语法元素转换成二进制的比特序列,也可以称为对输入流的预编码,经它编码后的输出是MPS概率极高的比特流。)
MPS(高概率符号0或1) 、LPS(低概率符号1 或0)
在算术编码流程中必须的记录状态为:
L 当前区间的下限
R 当前区间的大小长度
Binval 当前字符,即二进制的符号1或0
各字符的概率Px
当前处理的字符为MPS时,区间递进只是子区间的长度发生了改变,而作为影响实际输出值的L却没有发生改变,这个现象意味着如果输入流中连续出现大量的MPS,或者MPS相对LPS出现的概率比较高时, 可以达到极高的压缩效果,编码输出的码率也更接近熵率。
四种转换方式: Unary Binarization(U) ; Truncated unary binarization(TU); Kth order Exp_golomb binarization (UEGK); Fixed_length binarization (FL)
U : binIdx 编码后的比持序号
编码前
编码后的比特流
0
0
1
1
0
2
1
1
0
3
1
1
1
0
. . . . . .
binIdx
0
1
2
3
二. 上下文建模
为基本的CABAC 编码过程 , 一种regular coding mode 另一种为 bypass coding mode.
只有regular coding mode 应用了上下文模型,而直通模式用于加速编码流程,当概率近似为50%的时候。这部分主要说明regular coding mode的进程。这里,先说理论,再讲流程。
理论:
1,CABAC 算术编码基础
算术编码的复杂度主要体现在概率的估计和更新,
CABAC建立了一个基于查表的概率模型,将0~0.5 划分为64个概率量化值,这些概率对应于LPS字符,而MPS的概率为(1-Plps),概率的估计值被限制在查表内,概率的刷新也是依据于查表。如果当前出现的字符是MPS,则Plps 变小。
划分子区间的乘法运算 R=R x Px
对于这里的乘法运算,CABAC首先建立了一个二维表格,存储预先计算好的乘法结果,表格的入口参数一个来自Px( 对应于theta,概率量化值),另一个来自R(R的量化为:p=(R>>6)&3 ),
流程图:
图中,灰色部分是概率的刷新部分,表TABRangeLPS存储预先计算好的乘法结果,表TransIDxLPS是与对应的概率表。
有三个值是比较特殊的,:
theata=0 时,LPS的概率已达到了最大值0.5,如果下一个出现的是LPS,则此时LPS和MPS的字符交换位置.
Theta=63对应着LPS的最小概率值,但它并没有纳入CABAC的概率估计和更新的范围,这个值被用做特殊场合,传递特殊信息,比如,当解码器检测到当前区间的划分依据是这个值时,认为表示当前流的结束.
Theta=62 ,这是表中的最小值,它对应的刷新值是它自身,当MPS连续出现,LPS的概率持续减小,到62保持不变。
2 CABAC 上下文模型
CABAC将片作为算术编码的生命周期,h.264将一个片内可能出现的数据划分为399个上下文模型,每个模型均有自己的CtxIdx(上下文序号 ),每个不同的字符依据对应的上下文模型,来索引自身的概率查找表。即收到字符后,先索引该字符的上下文模型序号(CtxIdx),才能找到它的概率查找表(TransIdxLPS),再做上图上的操作。这些模型的划分精确到比特,几乎大多数的比特和它们邻近的比特处于不同的上下文模型中。
查找每个比特所对应的上下文模型有两个步骤:
1确定该比特所属的句法元素。即例如: mb_type, mb_field_decoding_flag 等。
h.264为每个句法元素分配了一个上下文模型区间,T9-11
该句法元素的所有比特位的上下文模型的上下文序号(ctxIdx)都处于这个区间中,
2.按照某一个法则为当前比特在步骤1中得到的区间中找到对应的CtxIdx。该法则对不同的句法元素各不相同。这个法则通常用表来表示,下表列出了大多数句法元素为所各比特查找CtxIdx的法则。其中CtxOffset为步骤1中所处区间起始点的偏移。但是在表中也可以看到,某些比特对应多个上下文模型,这时,需要在解码中根据前后宏块的空间相关性进一步确定。对应标准中的Table 9-29
即 当
1.索引ctxIdx 小于等于72时,是关于宏块类型,子宏块类型,预测模式,以及基于片层和宏块层的控制信息句法元素。此时,CtxIdx = Ts (步骤1中的初值)+Ctxoffset ;
2.索引ctxIdx大于72时,是残余数据编码,其中Coded_block_pattern 句法元素的索引同上式, 其余残余数据公式为:CtxIdx = Ts (步骤1中的初值)+Ctxoffset +Q(ctx_cat)
其中Q(ctx_cat)为其上下文范畴context category决定。
帧模式中,实际只用到399上句法模型的277个。
3 码流输出
在实际过程中,编码器并不是等递进到最终区间才办出码字的,这里有两个方面的原因,一个是在编码器在递过运算过程中,如果没有输出,信道会出现空闲,形成浪费,二是输入流较长时,最终区间非常小,必须以极高的精度来记录L和R,幸运的时,在二进制编友中, 区间的上下限以二进制形式表示,每当下限的最高有效位与上限的最高有效位一样时,就可以移出这个比特。 这样的方法可以保证编码器在递 同时不断的输出码流。序列出现的可能性越大,区间就越长,确定该区间所需要的比特数就越少。
实际上,编码过程中所有变量的值都不超过1,编码器中只保存小数点后的数字仍然可以正确编码,这样我们就可以用整数运算来完成上述算法。更进一步我们可以看到,在编码过
程中随着概率区间的不断减小,上限和下限会越来越接近,一旦两者的最高有效位的值相等,这一位上的数值就不再改变。这时我们就可以将该有效位输出,同时将上限和下限左移一位,
并将上限的最低有效位置9,下限的最低有效位置0,这个过程称为归一化,实际上是将编码器中序列的概率区间放大以保证编码器的精度。然后对下一符号编码,直至序列结束。经过上述改进,算术编码就可以在实际中应用了。
但是,新的问题又出现了。在使用上述算法进行编码时,可能会遇到这样的情况:假设上、下限用6 位数表示,上限值为500004,下限值为499997,由于最高位不相等不能输出,而序列对应的区间却已经非常小了,继续编码,可能会出现上限值为500000,下限值为499999,这时无论再输入什么符号,上、下限都不再改变,因此编码器也不会有任何输出,这种情况就称为编码器下溢。我们假设上限值为500004,下限值为499997 来说明解决下溢的方法。每次循环中对上、下限的次高有效位进行检查,
如果(1)上限的次高有效位为0,(2)下限的次高有效位为9,这就表示编码器存在下溢的可能,这时将上、下限的次高有效位都去掉,并将剩余有效位都左移一位,上限的最低有效位移进一个9,下限的最低有效位移进一个0,继续对上、下限的次高有效位进行检查。如果(1)(2)两个条件仍然满足,继续上述操作,否则记下从次高有效位移出比特数m,例子中m=4,经过多次循环,上、下限的值分别等于549999 和470000,继续下一符号的编码直至有数字输出,显然编码器输出的下一个数字是4 和5 中的一个。假设输出4,编码器接着要再输出m 个9,将m 置0 后,继续对下一符号编码;相反地如果输出5,就接着输出m 个0。这个方法的实质是在编码器没有输出情况下,扩大编码区间长度以保证编码器的精度。
流 程 :
在一帧的开始的时候, 先看是否字节对齐, 没有对齐则补1, 直到字节对齐。
初始化:
CABAC的生命期是片,每个片开始,要对399种上下文模型全部过行初始化工作,初始化的步骤是:
1, 将过区间复位到[0,1]
2, 为每一个上下文模型指定一个初始w 和theta
(a) h.264 为每个上下文模型定义了初始常量m,n,通过查表T9-12 ~ T 9-22 可得上下文模型相对应的m,n .
(b) 按照如下算法计算w,theta.
preCtxState = Clip3( 1, 126, ( ( m * SliceQPY ) >> 4 ) + n )
if( preCtxState <= 63 ) {
pStateIdx = 63 - preCtxState
valMPS = 0
} else {
pStateIdx = preCtxState - 64
valMPS = 1
}
其中clip3(a, b ,c )表示将c 的值限制在[a ,b]之间。
首先要说明的是CABAC的生命期是SLICE,因此本篇所讲的也是一个SLICE里CABAC的流程,其次对于我们来说场模式几乎用不到,所以本文的编码流程只使用帧模式,因此实际上用到的表只有277个, 当然如果我写成399, 不是说里面所有表都用到的. 这里只是声明一下这个问题, 如果大家实际操作的时候发现模型表序号始终不过276那是很正常的. 本文参考了T264的代码, 应此一帧里只有一个SLICE. 而本文用的变量则采用标准里的变量.本文不会讲CABAC的原理, 想要了解原理请参考FTP上的<
片级: 即以下步骤在片期间只做1次
1, 在一帧的开始的时候, 先看是否字节对齐, 没有对齐则补1, 直到字节对齐
2, 先根据SliceQP算出399个模型表里的pStateIdx和valMPS, 构成一张初始表,根据标准9.3.1.1里的公式, 同时可以参考T264_cabac_context_init函数. 这张表不要和模型表弄混,虽然都是399维的, 但我们宏块级编码过程中实际用的只是这张表, 而不是标准里的那张模型表Table 9-23, 9-23这张表是用来算由pStateIdx和valMPS构成的初始表的.
3, 然后就是初始化CABAC的初值, 下界指针,区间范围 (0x1FE)等等,可参考T264_cabac_encode_init函数.
宏块级: 以下则是每个宏块都要做一次的, 这一级中会处理很多的语法元素, 这里我只用前2个语法元素做为例子: mb_skip_flag, mb_type
4, 重整区间, 确保在区间在28-29内.如果这里的区间概念来自BAC,如果不明白先google算术编码,然后再看上面那个参考文献.
5, 首先mb_skip_flag标志进行CABAC编码, 由于这个元素本身就是2值的,所以直接就可以进行上下文模型选择了:
1. 由标准Table 9-24知道, P帧(这里要注意是slice_type==P, 不是mb_type)的这个元素用11号表, B帧用24号表. 可以参考T264中的T264_cabac_mb_skip函数.
2. 由于这个元素只有1个bit, 因此只要算第一个bit的ctxIdxInc就可以了, 参考标准Table 9-29, 可以看到表中11 和 24号表确实只有第一个bit是可用的, 根据9.3.3.1.1子条款可以知道这一位的ctxIdxInc可能是0, 1, 2中的一个, 在T264中简单的说就是看左边和上边宏块是否是Skip模式, 有一个是skip模式ctxIdxInc就加1. 也就是全不是skip为0, 有一个skip则ctxIdxInc就是1,全是skip则ctxIdxInc就是2.
3. 下来就是算术编码部分了, 简单提一下基本原理: 在CABAC中为了减少RLPS = R*pLPS 这个区间变换公式的开销, 用128个有限状态(实际可用的为126)代替pLPS , 用rangeTab这张表代替了RLPS, 见标准Table 9-33. 可以参考T264中的T264_cabac_encode_decision函数, 看一下具体流程:
? 获得当前bin的pStateIdx和valMPS(来自片级计算的那张初始表)
? 根据标准9.3.3.2.1子条款, 求得qCodIRangeIdx用来索引表rangeTab, 即可以求得变换后的区间了.
? 修正区间codIRange = codIRange – codIRangeLPS
? 判断当前的bin是否为最有可能的值, 如果不是(binVal!= valMPS),则更新区间下边界codILow = codILow + codIRange, 同时修正区间codIRange = codIRangeLPS;然后判断当前状态, 如果已经达到状态0, 是则把valMPS的值取反(即0,1互换), 如果还有没达到0, 则进行LPS的状态迁移,具体参看标准Table 9-34的状态迁移表中的transIdxLPS
? 如果当前的binVal值等于valMPS, 就比较简单了, 直接进行状态迁移, MPS的状态迁移也很简单, 直接数据+1就可以了(最大63),具体参考标准Table 9-34的状态迁移表中的transIdxMPS, 状态的转移其实就是修改了399个模型的初始表.
? 区间重整, 如果区间过小则输出一些bit, 这样可以不用把数据全部编码完再输出, 可以编一部分输出一些.
? 已编码的2进制值bin总数+1, 即SymCnt+1, 这个值用于字节填充, 可以参考标准9.3.4.6, 其中的BinCountsInNALunits就是指这个值,至此算术编码部分就结束了.
6, 下面就是开始编码第二个语法元素了: mb_type
1) 不同于上一个语法元素mb_skip_flag, mb_type这个语法元素本身并不是二值化的, 因此编码的第一步是进行二值化, 查阅标准Table 9-24可知mb_type的二值化方法需要参考9.3.2.5子条款, 由该条款可知mb_type的二值化相对简单, 可以直接参考表得到, 例如I片中某宏块mb_type为I_16x16时则二值化后bin0=1, 且非I_PCM则bin1=0, 亮度AC无非0系数则bin2=0, 色度有非0系数则bin3=1, 色度DC,AC都无非0系数时,bin4=0, 帧内预测模式为0时则bin5=0, bin6=0, 因此我们就得到了标准中I_16x16_0_1_0的二值化串为1001000
2) 下来是上下文模型选择, 由Table 9-24可知 I的mb_type元素起始表是3号表, 然后参考标准表Table 9-29, 计算bin串中每个bin的ctxIdxInc值,由表可知bin0要参考9.3.3.1.1.3才能确定ctxIdxInc值, 简单的说就是如果上边和左边的块模式有一个不是I_4x4则ctxIdxInc++, 这样就有0,1,2这3种可能的结果了; bin1的ctxIdx固定是276, 直接就调用了encoder_terminal模块, 即标准Figure 9-11的右分支;bin2的ctxIdxInc是3;bin3的ctxIdxInc是4,; bin4和bin5要参考9.3.3.1.2子条款, 由该条款可知如果bin3是1则bin4的ctxIdxInc=5,bin5的ctxIdxInc=6,如果bin3=0则bin4的ctxIdxInc =6,bin5的ctxIdxInc =7,由于I_16x16_0_1_0的二值化串为1001000, 其中bin3=1, 由此可知此时bin4的ctxIdxInc =5, bin5的ctxIdxInc =6; 最后由表9-29 中bin6的ctxIdxInc为7.至此二进制串所有位的表号可以用3+的ctxIdxInc来得到了.
3) 下来就是算术编码部分,这个部分于mb_skip_flag的算术编码部分步骤一样.这里要提的是, 第一步获得当前bin的pStateIdx和valMPS的模型表已经被更新了(是表被更新,但不一定是当前表), 还记得么? 是在上一个语法元素的状态转移的时候更新的.
7, 下面的语法元素就是按照标准7.3.5的语法一一编码的, 其过程和上面2个语法元素的编码过程大同小异,就不一一细述了.
……如此做完所有的宏块里的语法元素
又回到片级:
8, 写入end_of_slice_flag的标志,即完成标准Figure 9-11的左分支, 然后调用T264_cabac_encode_flush函数, 输出bit
9, 进行byte stuffing, 参考标准9.3.4.6 Byte stuffing process里的公式可以求得k, 在码流中填充k次的0x000003
10, 最后是模型更新,更换模型表(更改PB帧所用的模型表,而I帧所用的不变)