H.264码流结构的分析

（苏州大学计算机科学与技术学院，苏州 215006） 摘 要：H.264是新一代视频编码标准，具有广泛的应用前景。本文主要研究了H.264码流的问题。首先，介绍了H.264的简单框架；其次，对码流结构进行了分析，并概括出了码流结构图；最后，结合一个简单试验，给出了从H.264码流中取得图像宽度和高度的方法。 关键词：H.264；NAL；码流结构 Analysis on the structure of coding streaming in H.264 GAO Qing, WANG Zhigang （ School of Computer Science & Technology, Soochow University，SuZhou 215006；） Abstract: H.264 is the newest video coding standard, and it will be widely used. In this article, the problem of the structure of coding streaming in H.264 is discussed. Firstly, the simple profile of H.264 video is introduced. Secondly, the structure of coding streaming is discussed , and then give the graph on it. Finally, by a simple experiment, give the method of getting picture’s width and height from the coding stream. Keywords: H.264;NAL;structure of coding streaming 引言 H.264是新一代视频编码标准，具有广泛的应用前景，是ITU-T的视频编码专家组（VCEG）和 ISO/IEC的活动图像编码专家组（MPEG）的联合视频组开发的一个新的数字视频编码标准，它既是ITU -T的H.264，又是ISO/IEC的MPEG-4的第10部分。H.264和以前的标准一样，也是DPCM加变换编码的混合编码模式。它的应用目标广泛，可满足各种不同速率、不同场合的视频应用，具有较好的抗误码和抗丢包的处理能力。H.264的基本系统无需使用版权，具有开放的性质，能很好地适应IP和无线网络的使用，这对目前因特网传输多媒体信息、移动网中传输宽带信息等都具有重要意义。 1 H.264框架介绍   H.264中定义了3个框架[2]，每个框架都支持一系列的编解码功能，相应的有一系列的应用。下面作下简单的介绍： (1) 基线框架(Baseline Profile)：它作为H.264的一个简单版本，应用面很广。它支持帧间和帧内编码，支持I帧和P帧，支持CAVLC等，其主要应用是可视电话视频会议，无线通信等。 (2) 主框架(Main Profile)：包括支持交错视频，支持B帧，主要是在帧间编码时使用，权重预测，熵编码使用，支持CABAC等。它的主要应用是视频存储和电视广播。采用了多项提高图像质量和增加压缩比的技术措施，可用于SDTV，HDTV，DVD等。 (3) 扩展框架(Extended Profile)：不支持交错视频和CABAC，但增加了一些在进行比特流切换时有效的帧模式，SI Switching I帧和SP Switching P帧，能够有效的提高从错误中恢复的能力。它的主要应用是各种网络的视频流传输应用。 2 H264码流结构 2.1 H264分层结构 H.263定义的码流结构是分级结构，共四层。自上而下分别为：图像层(picturelayer)、块组层(GOB layer)、宏块层(macroblock layer)和块层(block layer)。而与H.263相比，H.264的码流结构和H.263的有很大的区别，它采用的不再是严格的分级结构。 H.264的功能分为两层，视频编码层（VCL）和网络提取层（NAL）VCL数据即被压缩编码后的视频数据序列。在VCL数据要封装到NAL单元中之后，才可以用来传输或存储。 NAL单元格式[2] 表1所示： 表1 NAL单元格式 NAL头 RBSP NAL头 RBSP RBSP：封装于网络抽象单元的数据称之为原始字节序列载荷RBSP，它是NAL的基本传输单元。其中，RBSP又分为视频编码数据和控制数据。其基本结构是：在原始编码数据的后面填加了结尾比特。一个bit“1”若干比特“0”，以便字节对齐。 2.2 H.264码流结构图 通过相关知识的查阅，概括出H.264的码流结构图[2]如图1所示： 图1 H.264的码流结构   3 H.264码流分析的应用 在有些时候，需要从H.264码流中直接取得相关信息（如：图像的宽度和图像的高度等等信息）。下面介绍下取得相关信息的方法： 图像的相关信息存储在网络提取层（NAL）的RBSP结构中，要取得图像的相关信息，既要获得图像的相关位。需依据RBSP结构，获得pic_width_in_mbs_minus1和pic_height_in_map_units_minus1两个值，那么宽度为(pic_width_in_mbs_minus1+1)*16，高度为(pic_height_in_map_units_minus1+1)*16，但是有些情况还得考虑nNum_Ref_Frames的值，一般为1。 3.1获得试验数据 设备：SUNNIC （IP Cam） 名字：ST100factory Firmware版本：p8b8 视频格式：H.264 (1) 将设备分辨率设成176*144，使用Ethereal等抓包工具抓得一组数据，并去掉相应的RTP头后，该数据为0x00,0x00,0x00,0x01,0x67,0x42,0x00,0x1E,0x99,0xA0,0xB1,0x31。 (2) 将设备分辨率设成720*240，使用Ethereal等抓包工具抓得一组数据，并去掉相应的RTP头后，该数据为0x00,0x00,0x00,0x01,0x67,0x42,0xE0,0x1E,0xDA,0x82,0xD1,0xF1。 (3) 将设备分辨率设成720*480，使用Ethereal等抓包工具抓得一组数据，并去掉相应的RTP头后，该数据为0x00,0x00,0x00,0x01,0x67,0x42,0xE0,0x1E,0xDB,0x82,0xD1,0xF1。 3.2 相关程序的书写 程序的关键代码如下： void GetH264Resolution(BYTE*pInBuf,int&nHeight,int&nWidth,int&nNum_Ref_Frames) {        ……              UE_V(nIndex,nShiftCount,nShiftBuffer,nNum_Ref_Frames,pFrameHead);                     DWORD gaps_in_frame_num_value_allowed_flag=0;               MyShift(1,nIndex,nShiftCount,nShiftBuffer,gaps_in_frame_num_value_allowed_flag,pFrameHead); DWORD pic_width_in_mbs_minus1=0; UE_V(nIndex,nShiftCount,nShiftBuffer,pic_width_in_mbs_minus1,pFrameHead);        DWORD pic_height_in_map_units_minus1=0;                  UE_V(nIndex,nShiftCount,nShiftBuffer,pic_height_in_map_units_minus1,pFrameHead);        UE_V(nIndex,nShiftCount,nShiftBuffer,pic_height_in_map_units_minus1,pFrameHead);        nWidth=(pic_width_in_mbs_minus1+1)*16; //图像的宽度        nHeight=(pic_height_in_map_units_minus1+1)*16;     //图像的高度 } voidMyShift(intnCount,int&nIndex,int&nShiftCount,BYTE&nShiftBuffer,DWORD&nRecv,BYTE*pInBuf) {//从数据流取得相应位的值。        while (nCount!=0)        {               if(nCount>nShiftCount)               {     nRecv=nRecv<<nShiftCount;                      nRecv|=nShiftBuffer>>(8-nShiftCount);                      nShiftBuffer=pInBuf[++nIndex];                      nCount-=nShiftCount;                      nShiftCount=8;                    }else               {     nRecv=nRecv<<nCount;                      nRecv|=nShiftBuffer>>(8-nCount);                                         nShiftCount-=nCount;                      nShiftBuffer<<=nCount;                      nCount=0;        }} } 3.3 试验结果与结论 (1)将数据流0x00,0x00,0x00,0x01,0x67,0x42,0x00,0x1E,0x99,0xA0,0xB1,0x31放入GetH264Resolution，取得nWidth为176, nHeight为144，nNum_Ref_Frames为1。跟原数据比对，结果正确。 (2)将数据流0x00,0x00,0x00,0x01,0x67,0x42,0xE0,0x1E,0xDA,0x82,0xD1,0xF1放入GetH264Resolution，取得nWidth为720, nHeight为240，nNum_Ref_Frames为1。跟原数据比对，结果正确。 (3)将数据流0x00,0x00,0x00,0x01,0x67,0x42,0xE0,0x1E,0xDB,0x82,0xD1,0xF1放入GetH264Resolution，取得nWidth为720, nHeight为240，nNum_Ref_Frames为2。跟原数据比对，240正好是480的一半，而这里的nNum_Ref_Frames正好是2。查阅相关资料发现，这里为了让数据能够正常显示，需要将2帧数据进行Interleave操作后，方能正常显示。 H.264是新一代视频编码标准，具有广泛的应用前景。应用此种方法，在解码前，取得图像的高度和宽度，在某些需要知道图像的宽度和高度的场合，特别是在一些播放H264视频的应用程序中，会有很大帮助。 参考文献： [1] ITU-TRec. H.264/ ISO/IEC 14496-10:2005 ,H.264 Advanced video coding for generic audiovisual services[S]. [2] 严晓飞. H.264码流结构的分析及其实现的优化[D]. 西安电子科技大学：西安电子科技大学，2007. [3] RICHARDSONI. H. 2 6 4 andMPEG-4Videocompression [M ].London: JohnW iley& Sons, 2003.