浅析mpeg-ts封装结构
一、引言
因为Apple公司提出的HLS(http live streaming)格式的流行，mpeg-ts封装的文件在互联网上已经随处可见。这套体系的强大之处就在于它的简单，试想，只要你有工具可以把一个或多个视频文件切割成一堆的小ts文件，并且生成一个内容非常简单的m3u8文件，然后只要有一个标准的web server（apache, nginx）就能对外提供点播视频流媒体服务了。假如可以对直播数据流进行切片存储成小文件，那就又具备了直播流媒体服务能力。
本文在此不对流媒体的应用进行研究，仅是对mpeg-ts格式进行分析，而分析的手段则是依照mpeg-ts的specification说明文档进行解构。之后会介绍一个非常好用的解析库bitstream，并提供据此库实现的ts解析工具与大家共同学习探讨。
二、基本结构
TS流的最小数据单元是188字节，所以可以认为一个TS文件的长度一定是188的整数倍。
2.1 TS包头部解析
TS包的头部固定占据四字节，这4个字节总共32bit分布着9个字段，现在对这些字段进行说明。
| 字段名称 |
长度 |
描述 |
备注 |
| sync_byte |
8 bit |
同步字节 |
永远为0x47，可用作ts包是否完整的判断 |
| Error indicator |
1 bit |
传输误码指示符 |
|
| Payload unit start indicator |
1 bit |
有效单元荷载起始指示符 |
当若干TS包构成一个独立单元时，可以此作为判断依据 |
| Transport priority |
1 bit |
优先传输 |
|
| PID |
13 bit |
包标识符 |
最重要的字段，标识该包所属的流 |
| Transport scrambling control |
2 bit |
传输控制标识 |
|
| Adaption field control |
1 bit |
自适应区标识 |
此标志被置1意味着包内还有附加数据 |
| Playload flag |
1 bit |
有效载荷标识 |
是否含有负载数据 |
| Continue counter |
4 bit |
连续计数器 |
这是一个在0~15之间循环的数字，可用来判断TS包是否连续 |
通过头部四字包含的这9个字段数据，我们可以做的事情有：
1. 取得流PID（最重要）
2. 判断TS流是否完整
3. 判断TS流是否连续
2.2 Adaptation field解析
Adaptation field是自适应数据区，用以指示接下来的数据是否为逻辑上独立的一段内容，并且存放了PCR信息。
| 字段名称 |
长度 |
描述 |
备注 |
| adaptation_field_length |
8 bit |
自适应区长度 |
值为0 表示仅为占位符，大于0则指示自适应区长度 |
| discontinuity_indicator |
1 bit |
非连续提示符 |
值为1时说明基准时间戳发生变化，PCR值重置 |
| random_access_indicator |
1 bit |
随机访问提示符 |
值为1表示该PES包是一帧视频或者音频的起始包 |
| elementary_stream_priority_indicator |
1 bit |
元组流优先提示符 |
值为1表示ES包数据优先于其他包的数据 |
| PCR_flag |
1 bit |
PCR标志 |
值为1表示自适区存在PCR值 |
| OPCR_flag |
1 bit |
OPCR标志 |
值为1表示自适区存在OPCR值 |
| splicing_point_flag |
1 bit |
分割点标志 |
值为1表示存在splice_countdown字段 |
| transport_private_data_flag |
1 bit |
传输私有数据标志 |
值为1表示自适区内包含一段或多段私有数据 |
| adaptation_field_extension_flag |
1 bit |
自适应区扩展标志 |
值为1 时表示自适区内存在扩展数据 |
| program_clock_reference_base |
33 bit |
节目参考时间基线 |
占30位，其分布规律为从最高位3位起，间隔一个marker，然后每15位一段 |
| reserved |
6 bit |
|
|
| program_clock_reference_extension |
9 bit |
节目参考时钟扩展 |
基准PCR的扩展 |
2.3 PAT包解析
根据从头部取得的PID我们接下来要做的一件事情就是确定这个PID所属的类型。而类型可分为TS固有类型与音视频流类型等。TS流的特点是没有严格意义上的起始或结束部分，所以也不能像mp4或者avi格式那样从meta域取得整体信息，这样我们势必要有一个办法知道当前的TS流的结构是怎样的，包含哪些音视频流等。所有的一切都要从一个叫做PAT的包开始，就像世界来自上帝七天创世纪，宇宙始于大爆炸，你要结婚总要从遇见一个姑娘开始。
TS固有类型的第一个要知道的就是PAT包，它的全称是Program Association Table（节目关联表），要说明它的作用先从介绍它的结构开始。
如何判断是否PAT包？非常简单，2.1节中我们看到有PID这个字段，PID的值等于0就对了。0，这个在计算机程序中无比神圣的数字被赋予了PAT了，也可见PAT对于TS的重要性。PAT包采用section格式封装，section结构简单说来可分为头部与负载区，头部区由若通用干字段组成，下面对其结构进行说明。
| 字段名称 |
长度 |
描述 |
备注 |
| Table id |
8 bit |
表标识 |
值为0 代表是PAT表 |
| section_syntax_indicator |
1 bit |
段同步提示符 |
默认设置为1 |
| ‘0’ |
1 bit |
|
|
| reserved |
2 bit |
|
|
| section_length |
12 bit |
段长度 |
段总长度，包括CRC值在内 |
| transport_stream_id |
16 bit |
传输流标识 |
可由用户自定义的传输流标识 |
| reserved |
2 bit |
|
|
| version_number |
5 bit |
版本号 |
在1至32数值之间递增，当current_next_indicator为1 时是当前可用的，为0则代表当然无效，需要等待下一个PAT |
| current_next_indicator |
1 bit |
当前后续提示 |
为1 时是当前可用的，为0则代表当然无效，需要等待下一个PAT |
| section_number |
8 bit |
段号 |
起始段号为0，随着段数加1 |
| last_section_number |
8 bit |
最后段号 |
最大的段号 |
| program_number |
16 bit |
节目号 |
用于在PAT包内区分不同节目 |
| reserved |
3 bit |
|
|
| program_map_PID |
13 bit |
节目映射标识 |
每个节目的PID值，可由用户自行定义，但须保证唯一 |
| CRC_32 |
32 bit |
循环校验值 |
用于判断section段是否完整 |
2.4 PMT包解析
PMT包括了一个节目相关的所有流信息。流这个概念对应的是一路音频或一路视频。我们知道，一个节目播放时有图像也有声音，但在编码层面它们往往是分开并且独立的，因为它们在最终呈现时是由不同的硬件设备来渲染的。音频与视频的同步则要借助于PCR，它是同步参考时钟，决定着哪一帧画面与哪一段音频相对应。
| 字段名称 |
长度 |
描述 |
备注 |
| Table id |
8 bit |
表标识 |
值设为0x02 |
| section_syntax_indicator |
1 bit |
段同步提示符 |
必须设置为1 |
| ‘0’ |
1 bit |
|
|
| reserved |
2 bit |
|
|
| section_length |
12 bit |
段长度 |
段总长度，包括CRC值在内 |
| program_number |
16 bit |
节目号 |
一个单独节目的标识，在复合流中相关的音视频流要归在此标识下用以分流 |
| reserved |
2 bit |
|
|
| version_number |
5 bit |
版本号 |
在1至32数值之间递增，当current_next_indicator为1 时是当前可用的，为0则代表当然无效，需要等待下一个PMT |
| current_next_indicator |
1 bit |
接续提示符 |
当current_next_indicator为1 时是当前可用的，为0则代表当然无效，需要等待下一个PMT |
| section_number |
8 bit |
段号 |
此值应设为0x00 |
| last_section_number |
8 bit |
最后段号 |
此值应设为0x00 |
| reserved |
3 bit |
|
|
| pcr_pid |
13 bit |
同步时钟标识 |
此节目所对应的同步参考时钟的标识号 |
| reserved |
4 bit |
|
|
| program_info_length |
12 bit |
节目信息长度 |
头两位置0，后10位数值表示所有信息的字节数 |
| stream_type |
8 bit |
流类型 |
用以指示流的音视频属性 |
| reserved |
3 bit |
|
|
| elementary_PID |
13 bit |
元组标识 |
节目内包含的元组元素的标识号 |
| reserved |
4 bit |
|
|
| ES_info_length |
12 bit |
元组信息长度 |
无级描述信息的长度，内容紧跟其后 |
| CRC_32 |
32 bit |
循环校验值 |
用于判断section段是否完整 |
Streamtype值的列表：
0x00ITU-T | ISO/IEC Reserved
0x01ISO/IEC 11172 Video
0x02ITU-T Rec. H.262 | ISO/IEC 13818-2 Video or ISO/IEC 11172-2 constrainedparameter video stream
0x03ISO/IEC 11172 Audio
0x04ISO/IEC 13818-3 Audio
0x05ITU-T Rec. H.222.0 | ISO/IEC 13818-1 private_sections
0x06ITU-T Rec. H.222.0 | ISO/IEC 13818-1 PES packets containing private data
0x07ISO/IEC 13522 MHEG
0x08ITU-T Rec. H.222.0 | ISO/IEC 13818-1 Annex A DSM-CC
0x09ITU-T Rec. H.222.1
0x0AISO/IEC 13818-6 type A
0x0BISO/IEC 13818-6 type B
0x0CISO/IEC 13818-6 type C
0x0DISO/IEC 13818-6 type D
0x0EITU-T Rec. H.222.0 | ISO/IEC 13818-1 auxiliary
0x0FISO/IEC 13818-7 Audio with ADTS transport syntax
0x10ISO/IEC 14496-2 Visual
0x11ISO/IEC 14496-3 Audio with the LATM transport syntax as defined in ISO/IEC14496-3 / AMD 1
0x12ISO/IEC 14496-1 SL-packetized stream or FlexMux stream carried in PES packets
0x13ISO/IEC 14496-1 SL-packetized stream or FlexMux stream carried inISO/IEC14496_sections.
0x14ISO/IEC 13818-6 Synchronized Download Protocol
0x15-0x7FITU-T Rec. H.222.0 | ISO/IEC 13818-1 Reserved
0x80-0xFF User Private.
2.5SDT包解析
SDT是流信息描述表，它的作用是传输节目的内容名称。例如我们在制作节目单时就可以从这个表中取出cctv 1, cctv2这样的内容名称。
| 字段名称 |
长度 |
描述 |
备注 |
| Table id |
8 bit |
表标识 |
值设为0x02 |
| section_syntax_indicator |
1 bit |
段同步提示符 |
必须设置为1 |
| ‘0’ |
1 bit |
|
|
| reserved |
2 bit |
|
|
| section_length |
12 bit |
段长度 |
段总长度，包括CRC值在内 |
| reserved |
18 bit |
节目号 |
一个单独节目的标识，在复合流中相关的音视频流要归在此标识下用以分流 |
| version_number |
5 bit |
版本号 |
在1至32数值之间递增，当current_next_indicator为1 时是当前可用的，为0则代表当然无效，需要等待下一个PMT |
| current_next_indicator |
1 bit |
接续提示符 |
当current_next_indicator为1 时是当前可用的，为0则代表当然无效，需要等待下一个PMT |
| section_number |
8 bit |
段号 |
起始段号为0，随着段数加1 |
| last_section_number |
8 bit |
最后段号 |
最大的段号 |
| descriptor |
|
|
|
| CRC_32 |
32 bit |
循环校验值 |
用于判断section段是否完整 |
2.6 PES包解析
PES是一组ES包的集合，一个PES包内是一帧完整的视频或者音频数据。TS流的播放一般都会从关键帧所在的PES包起播。
| 字段名称 |
长度 |
描述 |
备注 |
| packet_start_code_prefix |
24 bit |
Pes起始标识码 |
用于标识pes包起始，值为0x000001 |
| stream_id |
8 bit |
流标识 |
用以区分ES的类型与序数 |
| PES_packet_length |
16 bit |
包长度 |
PES包的总长度 |
| '10' |
2 bit |
|
|
| PES_scrambling_control |
2 bit |
扰流控制 |
用以指示PES包是否扰流模式 |
| PES_priority |
1 bit |
优先级 |
值为1的包优先于值为0的包，合成器可据此判断包的先后 |
| data_alignment_indicator |
1 bit |
数据排列指示符 |
值为1表示在PES包头之后紧跟着视频起始符或者音频同步位。 |
| copyright |
1 bit |
版权标识 |
值为1表示PES包内容受版权保护 |
| original_or_copy |
8 bit |
源或副本标识 |
值为1表示为源数据流，为0表示为副本 |
| PTS_DTS_flags |
2 bit |
Pts与dts标志 |
值为01表示只有PTS，值为11表示同时有PTS与DTS |
| ESCR_flag |
1 bit |
Escr标志 |
值为1表示在PES头部有ESCR数据与其扩展字段 |
| ES_rate_flag |
1 bit |
Es码率标志 |
值为1表示PES头部有es码率值 |
| DSM_trick_mode_flag |
1 bit |
DSM伪装模式 |
值为1表示存在DSM伪装模式字段 |
| additional_copy_info_flag |
1 bit |
附加复制信息标志 |
值为1表示存在附加复制信息字段 |
| PES_CRC_flag |
1 bit |
循环校验标志 |
值为1表示存在PES包循环校验数据 |
| PES_extension_flag |
1 bit |
扩展标志 |
值为1表示存在PES扩展数据 |
| PES_header_data_length |
8 bit |
头部数据长度 |
除去以上字段之外接下来的数据长度 |
| '0011' |
4 bit |
|
|
| PTS [32..30] |
3 bit |
|
|
| marker_bit |
1 bit |
标志位 |
值为1 |
| PTS [29..15] |
15 bit |
|
|
| marker_bit |
1 bit |
标志位 |
值为1 |
| PTS [14..0] |
15 bit |
|
|
| marker_bit |
1 bit |
标志位 |
值为1 |
| '0001' |
4 bit |
|
|
| DTS [32..30] |
3 bit |
|
|
| marker_bit |
1 bit |
标志位 |
值为1 |
| DTS [29..15] |
15 bit |
|
|
| marker_bit |
1 bit |
标志位 |
值为1 |
| DTS [14..0] |
15 bit |
|
|
| marker_bit |
1 bit |
标志位 |
值为1 |
注意：PTS与DTS占30位，其分布规律为从最高位3位起，间隔一个marker，然后每15位一段。
三、参考文档
《ISO/IEC 13818-1》