H.264中POC类型之探讨

由于POC对于参考序列的初始化,重排序及标记关系重大,所以做了如下的分析，以下讨论情况是针对帧 编码。

pic_order_cnt_type=0的时候：

poc与 frame_num没有直接的关系，是显式地出现在bit流中为pic_order_cnt_lsb，pic_order_cnt_lsb只是一个低位的poc，对应的高位PicOrderCntMsb不出现在bit流中，这个需要编码器或者 解码器对pic_order_cnt_lsb的情况来进行PicOrderCntMsb的进位。其中MaxPicOrderCntLsb在SPS( sequence parameter set)中可以得到，用于控制进位的。假定MaxPicOrderCntLsb=64,prevPicOrderCntMsb=0有如下情况：
                                 I  P  B...未出现mmco==5或IDR.....P   B   B   P   B    B    P    B   B   
传输部分的poc:      0  6  2                                               60  56  58  2  62    0    6    2   4   
真正的        poc：   0  6  2                                               60  56  58  66 62   64  70  66  68   
变量prevPicOrderCntLsb、prevPicOrderCntMsb的取值见标准200503CNP99-P100。 一般情况下,prevPicOrderCntLsb、prevPicOrderCntMsb为解码顺序中前一参考图像的的pic_order_cnt_lsb、PicOrderCntMsb。

对于pic_order_cnt_lsb=2 的P，现在来计算它的poc, 此时prevPicOrderCntMsb=0，prevPicOrderCntLsb=60，很明显满足条件prevPicOrderCntLsb>pic_order_cnt_lsb&&(prevPicOrderCntLsb-pic_order_cnt_lsb)>=64/2,

所以其PicOrderCntMsb=prevPicOrderCntMsb+MaxPicOrderCntLsb=64，此时实际的POC=PicOrderCntMsb+ pic_order_cnt_lsb=64+2=66;

对于pic_order_cnt_lsb=62的B，此时prevPicOrderCntMsb=64，而prevPicOrderCntLsb=2，很明显满足prevPicOrderCntLsb<pic_order_cnt_lsb&&(pic_order_cnt_lsb-prevPicOrderCntLsb)>=64/2,
此时PicOrderCntMsb=prevPicOrderCntMsb-MaxPicOrderCntLsb=64-64=0。此时实际的POC=PicOrderCntMsb+ pic_order_cnt_lsb=0+62=62;

对于pic_order_cnt_lsb=0的B，此时prevPicOrderCntMsb=64，而prevPicOrderCntLsb=2，上述两种情况都不满足，所以其PicOrderCntMsb=64。此时实际的POC=PicOrderCntMsb+ pic_order_cnt_lsb=64+0=64;
prevPicOrderCntMsb和prevPicOrderCntLsb在IDR或者mmco=5的时候选择性复位。这里如果考虑要场编码，则有如下情况：
                               I  P  B...未出现mmco==5或IDR....Pt  Pb  Bt  Bb  Bt   Bb   Pt   Pb  Bt  Bb   Bt   Bb   
传输部分的poc:   0  6  2                                                60  61  56  57  58   59   2    3   62  63   0     1
真正的poc            0  6  2                                                60  56  58  66  62   64   
Pt的poc为60的时候包含了mmco=5，由于它不是一个底场，所以prevPicOrderCntLsb就为60，如果出现在Pt的poc为61的时候包含了mmco=5，则prevPicOrderCntLsb=0；

所以在帧编码的时候mmco=5只是复位prevPicOrderCntMsb，而prevPicOrderCntLsb不复位。

而在场编码的时候mmco=5只有出现在底场的时候复位prevPicOrderCntMsb，prevPicOrderCntLsb为0。保证prevPicOrderCntLsb初始是从顶场开始，且为偶数开始。

（应该不是简单如此吧，应该还有深入原因，那位想通透的告诉我一声）

标准200503CNP99-P100---变量 prevPicOrderCntMsb和 prevPicOrderCntLsb的值由以下过程得到：
—  如果当前图像是IDR图像，prevPicOrderCntMsb设为0，prevPicOrderCntLsb也等于0。
—  否则 (当前图像为非 IDR 图像)，应用如下规则：

     —  如果解码顺序中的前一个已解码图像包含的memory_management_control_operation等于5，应用如下规则：
            —  如果在解码顺序上前一个参考图像不是底场，则prevPicOrderCntMsb  设置为0，prevPicOrderCntLsb设置为解码顺序上前一个参考图像的TopFieldOrderCnt值。 
            —  否则 (按照解码顺序前一个参考图像为底场)，prevPicOrderCntMsb  设为 0  并且prevPicOrderCntLsb设为0。
      —  否则（解码顺序上前一个参考图像不包含等于5的memory_management_control_operation），prevPicOrderCntMsb的值设置为等于解码顺序中前一个参考图像的PicOrderCntMsb，prevPicOrderCntLsb的
            值设为解码顺序中前一参考图像的pic_order_cnt_lsb。

pic_order_cnt_type=1的时候：

考虑如下序列情况：
SPS中设置对于帧编码，offset_for_top_to_bottom_field=0；对于场编码offset_for_top_to_bottom_field=1；
序列1：         I       P       B   循环一
frame_num:    0      1        2      
poc:                0      4        2
                       P      B             循环二
frame_num:    2      3      
poc:                8      6
                       P      B             循环三
frame_num:    3      4      
poc:                12    10

此时num_ref_frames_in_pic_order_cnt_cycle=1,num_ref_frames_in_pic_order_cnt_cycle表示IDR后一个循环（参考帧-非参考帧的循环）内参考帧的总数，是编码的时候配置的，人为给定的.

offset_for_ref_frame[0]=4,offset_for_ref_frame表示IDR后参考帧之间的偏移，就是相隔的循环间参考帧之间解码顺序差值乘2（自己理解的）。

absFrameNum：从上一个IDR picture到本帧之间的参考帧总数，不包括IDR帧，但包括本帧，由标准200503CNP117该值的计算可知。
picOrderCntCycleCnt：当前图到它之前的一个IDR picture之间经历了多少个参考帧-非参考帧周期。考虑一个IPBBPBB……的序列，则各个图片顺序对应的picOrderCntCycleCnt值为0000111...。
expectedDeltaPerPicOrderCntCycle：每个参考帧-非参考帧周期对于expectedPicOrderCnt的贡献。因此picOrderCntCycleCnt * expectedDeltaPerPicOrderCntCycle可以作为expectedPicOrderCnt的初始值。
frameNumInPicOrderCntCycle：在1个参考帧-非参考帧周期内本帧前的参考帧数。

如果要计算poc=12的P帧的POC，如何得到呢？首先已经知道frame_num=3,num_ref_frames_in_pic_order_cnt_cycle=1,offset_for_ref_frame[0]=4,则可以得到
absFrameNum=3;picOrderCntCycleCnt =(3-1)/1=2( 落入哪个循环中);frameNumInPicOrderCntCycle=(3-1)%1=0( 在循环内的相对帧号，相对位置); 

//为什么减1，个人感觉是因为去除第一个IDR帧还是在一循环中参考帧和非参考帧frame_num差1,还是循环从0开始？？？？
expectedDeltaPerPicOrderCntCycle = 0;
for( i = 0; i < num_ref_frames_in_pic_order_cnt_cycle; i++ )
expectedDeltaPerPicOrderCntCycle ( 每个循环的POC偏移)+= offset_for_ref_frame[ i ]
则expectedDeltaPerPicOrderCntCycle =4；
expectedPicOrderCnt ( 总循环的偏移)= picOrderCntCycleCnt * expectedDeltaPerPicOrderCntCycle
for( i = 0; i <= frameNumInPicOrderCntCycle; i++ )
expectedPicOrderCnt( 循环内的偏移) = expectedPicOrderCnt + offset_for_ref_frame[ i ]
则expectedPicOrderCnt =12；可以得到
由于是P-slice，此时slice header中
delta_pic_order_cnt[ 0 ]=0；delta_pic_order_cnt[ 1 ]=0；
TopFieldOrderCnt = 12；BottomFieldOrderCnt = 12；
序列2：         I      P       B     B      循环一
frame_num:    0      1       2     2
poc:                0      6       2     4
                       P       B     B             循环二
frame_num:    2       3     3     
poc:                12     8     10
                       P       B     B             循环三
frame_num:    3       4     4
poc:                18      14    16

此时num_ref_frames_in_pic_order_cnt_cycle=1,offset_for_ref_frame[0]=6。
如果要计算poc=16的B帧的POC，如何得到呢？

首先已经知道frame_num=4,num_ref_frames_in_pic_order_cnt_cycle=1,offset_for_ref_frame[0]=6,则可以得到
absFrameNum=4-1 ( frame_num-1为什么减1看公式 )，picOrderCntCycleCnt =(3-1)/1=2;frameNumInPicOrderCntCycle=(3-1)%1=0;
expectedDeltaPerPicOrderCntCycle =6；
由于 offset_for_non_ref_pic=-2*(连续B帧的数量);这里应该是-4
expectedPicOrderCnt =14；可以得到，
此时slice_header中delta_pic_order_cnt[ 0 ]=2，delta_pic_order_cnt[ 1 ]=0；
TopFieldOrderCnt = 16；BottomFieldOrderCnt = 16；
序列3：         I      P      B     P     B    B    P    B   B   B      循环一
frame_num:    0      1      2     2      3    3     3    4    4    4
poc:                0      4       2     10    6   8    18   12  14  16
  
                        P      B     P     B    B    P    B   B   B      循环二
frame_num:     4      5      5      6    6     6    7    7    7     
poc:                 22    20   28   24   26   36   30  32  34
                        P      B     P     B    B    P    B    B    B      循环三
frame_num:     7      8      8     9     9     9    10   10  10
poc:                40     38    46   42   44   54  48   50  52

此时num_ref_frames_in_pic_order_cnt_cycle=3,offset_for_ref_frame[3]={4,6,8}。
如果要计算poc=54的P帧的POC，如何得到呢？首先已经知道frame_num=9,num_ref_frames_in_pic_order_cnt_cycle=3,offset_for_ref_frame[3]={4,6,8 }(实际的现实顺序中到该帧的偏移),则可以得到
absFrameNum=9，picOrderCntCycleCnt =(9-1)/3=2;frameNumInPicOrderCntCycle=(9-1)%3=2;
expectedDeltaPerPicOrderCntCycle =18；
expectedPicOrderCnt =18*2+4+6+8=54；可以得到，
此时slice_header中delta_pic_order_cnt[ 0 ]=0，delta_pic_order_cnt[ 1 ]=0；
TopFieldOrderCnt = 54；BottomFieldOrderCnt = 54；
如果要计算poc=50的B帧的POC，如何得到呢？由于是B帧
absFrameNum=10 -1(为什么减1同样看公式)=9，picOrderCntCycleCnt =(9-1)/3=2;frameNumInPicOrderCntCycle=(9-1)%3=2;
由于连续B帧数目是变化的取平均值为2，此时offset_for_non_ref_pic=-4，
expectedPicOrderCnt =18*2+4+6+8-4=50；此时slice_header中delta_pic_order_cnt[ 0 ]=0，delta_pic_order_cnt[ 1 ]=0；


pic_order_cnt_type=2的时候：

poc是由frame_num推导出来的，这个比较简单，但是应该注意，在这种情况下不存在连续的非参考图象（注释），且解码输出的顺序和显示输出顺序一致（注释），意思就是说不出现B帧，但可以出现非参考的P场，这也是为什么当nal_ref_idc=0的时候tempPicOrderCnt = 2 * ( FrameNumOffset + frame_num ) – 1的情况。这里保证了参考场的POC始终为偶数，并且大于同帧的另外一个场。


综合三种poc的，类型2应该是最省bit的，因为直接从frame_num获得，但是序列方式限制最大；
类型1，只需要一定的bit量在sps标志出一些信息还在slice header中表示poc的变化，但是比类型0要节省bit,但是其序列并不是随意的，要周期变化；对于类型0因为要对poc的 lsb进行编码所以用到的bit最多，优点是序列可以随意。