TS码流分析

   MPEG组织于1994年推出MPEG-2压缩标准，以实现视/音频服务与应用互操作的可能性，MPEG-2标准是针对标准数字电视和高清晰度电视在各种应用下的压缩方案和系统层的详细规定。对应于不同的应用，符合MPEG-2标准的码流又分为传送流和程序流，本文主要讲解了传送流有关的部分数据结构，从实际应用的传送流码流中截取了部分码流做了说明，并给出了部分解析传送流码流的实例程序。

　　在MPEG-II标准中，为了将一个或更多的音频、视频或其他的基本数据流合成单个或多个数据流，以适应于存储和传送，必须对其重新进行打包编码，在码流中还需插入各种时间标记、系统控制等信息，最后送到信道编码与调制器。这样可以形成两种数据流——传送流（TS）和程序流（PS），分别适用于不同的应用，图1给出了单路节目的视音频数据流的复用框图。

　　传送流（Transport Stream）简称TS流，它是根据ITU-T Rec.H.222.0|ISO/IEC 13818-2 和ISO/IEC 13818-3协议而定义的一种数据流，其目的是为了在有可能发生严重错误的情况下进行一道或多道程序编码数据的传送和存储。这种错误表现为比特值错误或分组丢失。传送流由一道或多道节目组成,每道节目由一个或多个原始流和一些其他流复合在一起，包括视频流、音频流、节目特殊信息流（PSI）和其他数据包。其中PSI表有4种类型：节目关联表（PAT）、节目映射表（PMT）、网络信息表和条件访问表。传送流应用比较广泛，如视音频资料的保存、电视节目的非线性编辑系统及其网络等。在开发机顶盒以及视频设备时有时需要对码流的编码知识有比较清楚地了解，这样才能在遇到问题时做出全面的 分析。

　　TS流结构分析

　　如图2所示,TS包的长度是固定的，为188字节。包括同步字节（sync_byte）0x47和数据包识别号PID等。PID为13位字段,指示存储于分组有效负载中数据的类型,PID值0x0000为程序关联表保留，而0x0001为条件访问表保留，0x1FFF为空分组保留。从PID可以判断其后面负载的数据类型是视频流、音频流、PSI还是其他数据包。

　　PSI描述说明

　　在MPEG-II中定义了节目特定信息（PSI），PSI用来描述传送流的组成结构，在MPEG-II系统中担任极其重要的角色，在多路复用中尤为重要的是PAT表和PMT表。PAT表给出了一路MPEG-II码流中有多少套节目，以及它与PMT表PID之间的对应关系；PMT表给出了一套节目的具体组成情况与其视频、音频等PID对应关系。PSI提供了使接收机能够自动配置的信息，用于对复用流中的不同节目流进行解复用和解码。PSI信息由以下几种类型表组成：

　　◆ 节目关联表（PAT Program Association Table）

　　PAT表用MPEG指定的PID（00）标明，通常用PID=0表示。它的主要作用是针对复用的每一路传输流，提供传输流中包含哪些节目、节目的编号以及对应节目的节目映射表（PMT）的位置，即PMT的TS包的包标识符（PID）的值，同时还提供网络信息表（NIT）的位置，即NIT的TS包的包标识符（PID）的值。

　　◆ 条件接收表（CAT Conditional Access Table）

　　CAT表用MPEG指定的PID（01）标明，通常用PID=1表示。它提供了在复用流中条件接收系统的有关信息，指定CA系统与它们相应的授权管理信息（EMM））之间的联系，指定EMM的PID，以及相关的参数。

　　◆ 节目映射表（PMT Program Map Table）

　　节目映射表指明该节目包含的内容，即该节目由哪些流组成，这些流的类型（音频、视频、数据），以及组成该节目的流的位置，即对应的TS包的PID值，每路节目的节目时钟参考（PCR）字段的位置。

　　◆ 网络信息表（NIT Nerwork Information Table）

　　网络信息表提供关于多组传输流和传输网络相关的信息，其中包含传输流描述符、通道频率、卫星发射器号码、调制特性等信息。

　　◆ 传输流描述表（TSDT Transport Stream Description Table）

　　传输流描述表由PID为2的TS包传送，提供传输流的一些主要参数。

　　◆ 专用段（private_section）

　　MPEG-2还定义了一种专用段用于传送用户自己定义的专用数据。

　　◆ 描述符（Descripter）

　　除了上述的表述之外，MPEG-2还定义了许多描述符，这些描述符提供关于视频流、音频流、语言、层次、系统时钟、码率等多方面的信息，在PSI的表中可以灵活的采用这些描述符进一步为接收机提供更多的信息。

　　在解码时，接收机首先根据PID值找到PAT表，找出相应节目的PMT表的PID，再由该PID找到该PMT表，再在PMT表中找到相应的码流，然后开始解码。PSI结构和TS流的关系示例如图3所示。

　　PES包格式说明

　　经过视音频压缩来的数码流称为ES流，ES流经过打包器输出PES流。PES包是非定长的，音频PES包不超过64K字节，视频一般一帧一个PES包。为实现解码的同步，还需插入相关的标志信息，多个打包后的数码流再经过复用器成为传送流（TS流），PES包的结构图如图4所示。

　　对截取的MPEG-II TS码流实例分析

　　对截取的包含PSI信息的码流分析

　　从MPEG-II TS流片源上截取的包含PSI信息的码流如图5所示。

　　搜索TS数据流从包同步字0x47开始，由于该同步头字节并不是唯一的，数据包中可能有码字也恰为其值。因此，要准确检测同步，必须首先找到输入缓冲区中第一个0x47，然后将其指针向后推187个字节的位置再检测是否为0x47，如果是，则输出包同步信号；接着每隔187字节检测一次，如是0x47，则继续输出包同步信号，如不是，则重新开始搜索0x47。

　　在上段截取的包含PSI信息的码流中是一个TS文件中的起始数据截图，TS流文件中的数据Ts包头以0x47开头，在0x47后3字节是ts包头信息：0x40中的4表示此payload_unit_start_indicator是1，表示包含TS流分组的第一个有效字节包含point_field字段，占一个字节；ID为0x00，表示此TS流包含PSI信息，在此是PAT包；0x1c中的1表示仅不含附加信息，仅含有有效载荷；C表示continuity_ counter=c。在4字节的TS包头之后时一字节的point_field＝0，然后是program_association_ section（）字段的信息。Table_id=0x00，表示在此PSI内容是program_ association_section（）字段的信息内容；0xB0表示的B是同步头以及保留位，0是section_length的一部分；section_length=0x00d（包含0x0D的前一个0）；transport_ stream_ id=0x0000；0xC1包含保留位、vision_number、current_ next_indicator ，C中的11是保留位，C中的00和低4位中的前3位是vision_number部分，最低位是current_next_indicator部分。

　　vision_number=0x00；current_next_indicator=1,表示所 发送的pat表当前有效；ection_number=0x00,last_ section_number=0x0000；program_number=0x0001；0xE0中的E的高三位是保留位，E的最低位和其后的4位0以及其后的8位都是program_map_PID字段内容，所以program_map_PID=0x032，即PMT的PID为0x32；CRC是0xbcf11595。其后的0xff为填充字节。

　　在第二个TS流中，在0x47后3字节是ts包头信息：0x40中的4表示此payload_unit_start_indicator是1，表示包含TS流分组的第一个有效字节包含point_field字段，占一个字节。ID为0x32，表示此TS流包含PSI信息PID为0x032，是pat表中的PID，说明此TS流中包含PMT表的信息。point_field＝0x00，（Ts头和point_field1字节共5字节）point_field后是0x02表示此处的pid为ts_program_ map_section（）字段。0xB0表示的B是同步头以及保留位，0是section_length的一部部分Section_length=0x02d,规定此字段的字节数，包含CRC部分；program_number=0x0001；0xC1包含保留位、vision_number、current_next_indicator，C中的11是保留位，C中的00和低4位中的前3位是vision_number部分，最低位是current_next_indicator部分；version_number=0x0,current_next_indicator=1,section_number=0x00,last_section_number=0x00；0xE0中的E的高三位是保留位，E的最低位和其后的4位0以及其后的8位都是PCR_PID字段内容，PCR_PID=0x020；其后的0xF0中的高4位是保留位，低4位和其后的8位都是program_info_length字段内容，表示描述字段的字节数，program_info_length=0x000；stream_type=0x03表示其后的PID为ISO/IEC 11172音频数据的PID，其后的0xE0中的E的高三位是保留位，E的最低位和其后的4位0以及其后的8位都是element_PID字段内容，element_PID=0x021,表示TS流中如果包含音频部分，则此TS流的PID为0x21；其后的0xF0中的高4位是保留位，低4位和其后的8位都是ES_info_length字段内容，表示描述字段的字节数，ES_info_length=0x006,表示其后的6个字节为原始流的描述部分。6个字节之后的stream_type=0x02,表示其后的PID为ITU-T Rec. H.262 | ISO/IEC 13818-2视频数据的PID；其后的0xE0中的E的高三位是保留位，E的最低位和其后的4位0以及其后的8位都是element_PID字段内容，element_PID=0x20，表示TS流中如果包含视频部分，则此TS流的PID为0x20, 其后的0xF0中的高4位是保留位，低4位和其后的8位都是ES_info_length字段内容，表示描述字段的字节数，ES_info_length=0x10,表示其后的16个字节为原始流的描述部分。其后的4字节是CRC校验部分，然后是填充部分。

　　一般MPEG-II TS码流分析

　　从MPEG-II TS流片源上截取的码流如图6所示。

　　如上述截取的码流所示：Ts包头以0x47开头，在0x47后3字节是TS包头信息：ID为视频ID，是0x20，field_point字段00，其后是PES包包头：00 01 E0表示是视频PES包包头，其后的帧有关信息共5字节，2字节PES包长度是27 6A，表示此PES数据包的长度是0x276a即10090字节；2字节标准位信息是85 80，5字节中的最后一字节表示附加数据长度是0B，其后是正式视频数据：开始为00 00 01 00，是I、B、P帧的判别在9D，二进制为10 011 101中的中间3位011指名帧帧是什么样的帧，次例中为011即为B帧，当是001时为I帧，010时为P帧。

　　从某种意义上来说，数字电视的发展主要取决于数字压缩技术和数字调制解调技术的发展。目前MPEG-2标准较为成熟，虽然码率压缩的办法许多，如MPEG系列（MPEG-1、MPEG-2、MPEG-4、MPEG-7）以及小波压缩技术等。但在实用化方面MPEG-2已经走在了前面，且遵循标准研制出的系统产品也已非常成熟，实际商业运营和效果也非常成功。

　　总之，MPEG-II传输流在数字电视系统中得到了广泛的应用，在应用中可以通过分析码流来获得传输流的PID、PRC等信息，用来设置解码器等用处。

　　mpeg PMT 的 stream type汇总:

　　H.222总是在修订,增加最新的类型. 以下来源于 H.222.0 (2006) Amendment 2

　　Value Description

　　0x00 ITU-T | ISO/IEC Reserved

　　0x01 ISO/IEC 11172-2 Video

　　0x02 ITU-T Rec. H.262 | ISO/IEC 13818-2 Video or ISO/IEC 11172-2 constrained parameter video stream

　　0x03 ISO/IEC 11172-3 Audio

　　0x04 ISO/IEC 13818-3 Audio

　　0x05 ITU-T Rec. H.222.0 | ISO/IEC 13818-1 private_sections

　　0x06 ITU-T Rec. H.222.0 | ISO/IEC 13818-1 PES packets containing private data

　　0x07 ISO/IEC 13522 MHEG

　　0x08 ITU-T Rec. H.222.0 | ISO/IEC 13818-1 Annex A DSM-CC

　　0x09 ITU-T Rec. H.222.1

　　0x0A ISO/IEC 13818-6 type A

　　0x0B ISO/IEC 13818-6 type B

　　0x0C ISO/IEC 13818-6 type C

　　0x0D ISO/IEC 13818-6 type D

　　0x0E ITU-T Rec. H.222.0 | ISO/IEC 13818-1 auxiliary

　　0x0F ISO/IEC 13818-7 Audio with ADTS transport syntax

　　0x10 ISO/IEC 14496-2 Visual

　　0x11 ISO/IEC 14496-3 Audio with the LATM transport syntax as defined in ISO/IEC 14496-3/Amd.1

　　0x12 ISO/IEC 14496-1 SL-packetized stream or FlexMux stream carried in PES packets

　　0x13 ISO/IEC 14496-1 SL-packetized stream or FlexMux stream carried in ISO/IEC 14496_sections

　　0x14 ISO/IEC 13818-6 Synchronized Download Protocol

　　0x15 Metadata carried in PES packets

　　0x16 Metadata carried in metadata_sections

　　0x17 Metadata carried in ISO/IEC 13818-6 Data Carousel

　　0x18 Metadata carried in ISO/IEC 13818-6 Object Carousel

　　0x19 Metadata carried in ISO/IEC 13818-6 Synchronized Download Protocol

　　0x1A IPMP stream (defined in ISO/IEC 13818-11, MPEG-2 IPMP)

　　0x1B AVC video stream as defined in ITU-T Rec. H.264 | ISO/IEC 14496-10 Video

　　0x1C ISO/IEC 14496-3 Audio, without using any additional transport syntax, such as DST, ALS and SLS

　　0x1D ISO/IEC 14496-17 Text

　　0x1E Auxiliary video stream as defined in ISO/IEC 23002-3

　　0x1F-0x7E ITU-T Rec. H.222.0 | ISO/IEC 13818-1 Reserved

　　0x7F IPMP stream

　　0x80-0xFF User Private

================================================================

通过查看前人的介绍，结合下面的TS流数据包结构图，在通过一整个下午的调试分析发现：

        一、TS文件的前两个188字节中包涵有该文件中TS的音视频解码需要的信息，如果去掉，通过Media Player Classic不能播放出声音，但是视频可以观看；通过VLC播放则可以正常观看

        二、TS文件第三个包中的第二字节的第二位（从高往低）如果为1，则是起始标志；同理，在最后的一个包中，如果是1，则表示停止（修改如下）

        TS文件中每个PES包是非定长的，音频PES包不超过64K字节，视频一般一帧一个PES包。为实现解码的同步，还需插入相关的标志信息，多个打包后的数码流再经过复用器成为传送流（TS流），在每个PES包中，都是以标志位 1 开始

        三、TS文件中包涵有音视频信息，分为不同的PID,二中提到的起始结束标记，在两种包中都有体现（音频的起始还没测试）

        四、TS文件中视频的部分，（连续计数器）一般都是从0----F，往复循环，音频文件也是如此（没看到全的）

        五、TS文件中，主要以视频包为主，音频包数量很少，一个四分种的TS文件（40M左右），音频包才不到16个。。。。。。。（修改）理解错误，通过今天的查看，发现音频包也很多，便且音频包经常设定高优先级

                               

================================

MPEG2

系统任务：

规定以包方式传输数据，

收发两端数据流的同步，

确定多个数据流的合并与分离（复用和解复用），

加密数据传输。

PES长度大概2^16-1=65525B

ES--->PES--->TS或者PS。PES只是一个中间步骤和桥梁。

TS：

组成：包头+自适应区+包数据。包头4B。TS包共188B。

头。（单位都是bit）

8，同步字节（值0x47）
1，传输差错指示 
1，有效负荷单元开始指示 
1，优先传输 
13， PID 节目号 
2 ，传输交织节目 
1 ，适配区域标识 
1 ， 有效负荷标识 
4 ， 连续计数器

PSI : Program Specific Infomation

PAT,pid=0,Program Association Table

CAT,pid=1,Conditional Access Table

PMT,Program Map Table

NIT,Network Information Table,是PMT中节目号为0的项。

0x0002~0x000f 保留，0x1fff（8191） 空数据包。

DVB标准定义了如下服务信息表格： 
PAT：Program allocatiom Table 节目分配表 
CAT：Conditional Access Table 有条件接收表 
PMT：Program Map Table 节目映射表 
NIT：Network Information Table 网络信息表 
SDT：Service Description Table 服务描述表 
EIT：Event Information Table 事件信息表 
TDT：Timeand Date Table 事件日期表