MPEG2-TS的小结 [1]
1. 简述
MPEG2 TS和数字电视是紧密不可分割的，值得总结一下其中的一些关系。
ISO/IEC－13818－1：系统部分；
ISO/IEC－13818－2：视频；
ISO/IEC－13818－3：音频；
ISO/IEC－ 13818－4：一致性测试；
ISO/IEC－13818－5：软件部分；
ISO/IEC－13818－6：数字存储媒体命令与控制；
ISO/IEC－ 13818－7：高级音频编码；
ISO/IEC－13818－8：系统解码实时接口；
MPEG2系统任务包括：
1. 规定以包传输数据的协议；
2. 规定收发两端数据流同步的协议；
3. 提供多个数据流的复用和解复用协议；
3. 提供数据流加密的协议。
以包形式存储和传送数据流是MPEG2系统之要点。
2. ES数据流
ES是直接从编码器出来的数据流，可以是编码过的视频数据流，音频数据流，或其他编码数据流的统称。ES流经过PES打包器之后，被转换成PES包。PES包由包头和payload组成，具体格式摘录如下：
在PES层，主要是在PES包头信息中加入PTS(显示时间标签)和DTS（解码时间标签）用于视频、音频同步。
其实，Mpeg-2用于视音频同步以及系统时钟恢复的时间标签分别在ES，PES和TS这3个层次中。在ES层，与同步有关的主要是视频缓冲验证VBV（Video Buffer Verifier），用以防止解码器的缓冲器出现上溢或下溢；在PES层，主要是在PES头信息里出现的显示时间标签PTS（Presentation Time Stamp）和解码时间标签DTS（Decoding Time Stamp）；在TS层中，TS头信息包含了节目时钟参考PCR（Program Clock Reference），用于恢复出与编码端一致的系统时序时钟STC（System Time Clock）。
我们先看看从ES到PES的过程：
基本流程如下：首先MPEG-2压缩编码得到的ES基本流，这个数据流很大，并且只是I，P，B的这些视频帧或音频取样信息，然后加入一些同步信息，打包成长度可变长度的数据包PES，原来是流的格式，现在成了数据包的分割形式。同时要注意的是，ES是只包含一种内容的数据流，如只含视频，或只含音频等，打包之后的PES也是只含一种性质的ES,如只含视频ES的PES,只含音频ES的PES等。可以知道，ES是编码视频数据流或音频数据流，每个ES都由若干个存取单元（AU）组成，每个视频AU或音频AU都是由头部和编码数据两部分组成，1个AU相当于编码的1幅视频图像或1个音频帧，也可以说，每个AU实际上是编码数据流的显示单元，即相当于解码的1幅视频图像或1个音频帧的取样。PEG-2对视频的压缩产生I帧、P帧、B帧。把帧顺序I1,P4,B2,B3,P7,B5,B6帧的编码ES，通过打包并在每个帧中插入 PTS/DTS标志，变成PES。在插入PTS/DTS标志时，由于在B帧PTS和DTS相等，所以无须在B帧多插入DTS。而对于I帧 和P帧，由于经过复用后数据包的顺序会发生变化，显示前一定要存储于视频解码器的从新排序缓存器中，经过从新排序后再显示，所以一定要同时插入PTS和 DTS作为从新排序的依据。
其中，有否PTS/DTS标志，是解决视音频同步显示、防止解码器输入缓存器上溢或下溢的关键所在。PTS表明显示单元出现在系统目标解码器（STD- System Target Decoder）的时间, DTS表明将存取单元全部字节从STD的ES解码缓存器移走的时刻。视频编码图像帧次序为 I1,P4,B2,B3,P7,B5,B6,I10,B8,B9的ES，加入PTS/DTS后，打包成一个个视频PES包。每个PES包都有一个包头，用于定义PES内的数据内容，提供定时资料。每个I、P、B帧的包头都有一个PTS和DTS，但PTS与DTS对B帧都是一样的，无须标出B帧的DTS。对I帧和P帧，显示前一定要存储于视频解码器的重新排序缓存器中，经过延迟（重新排序）后再显示，一定要分别标明PTS和DTS。例如，解码器输入的图像帧次序为I1,P4,B2,B3,P7,B5,B6,I10,B8,B9，依解码器输出的帧次序，应该P4比B2、B3在先，但显示时P4一定要比B2、B3在后，即P4要在提前插入数据流中的时间标志指引下，经过缓存器重新排序，以重建编码前视频帧次序I1,B2,B3,P4,B5,B6,P7,B8,B9,I10。显然，PTS/DTS标志表明对确定事件或确定信息解码的专用时标的存在，依靠专用时标解码器，可知道该确定事件或确定信息开始解码或显示的时刻。例如，PTS/DTS标志可用于确定编码、多路复用、解码、重建的时间。
3. PS数据流
上节说过，ES首先需打包成PES流包，然后PES根据需要打包成PS或TS包进行存储或传输。其每路ES只包含一路信源的编码数据流，所以每路PES也只包含相对应信源的数据流。
对 PS流而言，每个PES包头含有PTS和DTS，流识别码，用于区别不同性质ES。然后通过PS复用器将PES包复用成PS包。实际上是将PES 包分解为更细小的PS包。在解码的时候，解复用器将PS分解成一个个PES包，拆包器然后将PES包拆成视频和音频的ES，最后输入至各自解码器进行解码。一个问题是：各个ES在解码时，如何保证视音频的同步呢？除了PTS和DTS的配合工作外，还有一个重要的参数是SCR(system clock reference)。在编码的时候，PTS，DTS和SCR都是由STC(system time clock)生成的，在解码时，STC会再生，并通过锁相环路（PLL－phase lock loop），用本地SCR相位与输入的瞬时SCR相位锁相比较，以确定解码过程是否同步，若不同步，则用这个瞬时SCR调整27MHz的本地时钟频率。最后，PTS，DTS和SCR一起配合，解决视音频同步播放的问题。PS格式摘录如下：
| byte 0
|
byte 1
|
byte 2
|
byte 3
|
||||||||||||||||||||||||||||
| 7
|
6
|
5
|
4
|
3
|
2
|
1
|
0
|
7
|
6
|
5
|
4
|
3
|
2
|
1
|
0
|
7
|
6
|
5
|
4
|
3
|
2
|
1
|
0
|
7
|
6
|
5
|
4
|
3
|
2
|
1
|
0
|
| 0000 0000 0000 0000 0000 0001
start code
|
1011 1010
PACK identifier
|
||||||||||||||||||||||||||||||
| byte 4
|
byte 5
|
byte 6
|
byte 7
|
byte 8
|
byte 9
|
||||||||||||||||||||||||||||||||||||||||||
| 7
|
6
|
5
|
4
|
3
|
2
|
1
|
0
|
7
|
6
|
5
|
4
|
3
|
2
|
1
|
0
|
7
|
6
|
5
|
4
|
3
|
2
|
1
|
0
|
7
|
6
|
5
|
4
|
3
|
2
|
1
|
0
|
7
|
6
|
5
|
4
|
3
|
2
|
1
|
0
|
7
|
6
|
5
|
4
|
3
|
2
|
1
|
0
|
| 01
|
SCR 32..30
|
1
|
SCR 29..15
|
1
|
SCR 14..00
|
1
|
SCR_ext
|
1
|
|||||||||||||||||||||||||||||||||||||||
| byte 10
|
byte 11
|
byte 12
|
byte 13
|
||||||||||||||||||||||||||||
| 7
|
6
|
5
|
4
|
3
|
2
|
1
|
0
|
7
|
6
|
5
|
4
|
3
|
2
|
1
|
0
|
7
|
6
|
5
|
4
|
3
|
2
|
1
|
0
|
7
|
6
|
5
|
4
|
3
|
2
|
1
|
0
|
| Program_Mux_Rate
|
1
|
1
|
reserved
|
pack_stuffing_length
|
|||||||||||||||||||||||||||
PS包的长度比较长且可变，主要用于无误码环境里，因为越长的话，同步越困难，且在丢包的情况下，重组也越困难。所以，PS适合于节目信息的编辑和本地内容应用的application。
4. TS数据流
TS流也是由一个或多个PES组合而来的，他们可以具有相同的时间基准，也可以不同。其基本的复用思想是，对具有相同时间基准的多个PES现进行节目复用，然后再对相互有独立时间基准的各个PS进行传输复用，最终产生出TS。TS包由包头和包数据2部分组成，其中包头还可以包括扩展的自适用区。包头长度占4bytes，自使用区和包数据共占184bytes，整个TS包长度相当于4个ATM包长。TS包的包头由如下图摘录所示的同步字节、传输误码指示符、有效载荷单元起始指示符、传输优先、包识别（PID-Packet Identification）、传输加扰控制、自适应区控制和连续计数器8个部分组成。
对上面的各个字段简单说明一下：
| Partial Transport Stream Packet Format
|
||
| Name
|
Number |
Description
|
| 8
|
0x47
|
|
| Transport Error Indicator (TEI)
|
1
|
Set by demodulator if can't correct errors in the stream[2]
|
| Payload Unit Start Indicator
|
1
|
|
| Transport Priority
|
1
|
One means higher priority than other packets with the same PID.
|
| PID
|
13
|
Packet ID
|
| Scrambling control
|
2
|
'00' = Not scrambled. The following per DVB spec [3]: '01' = Reserved for future use, '10' = Scrambled with even key, '11' = Scrambled with odd key
|
| Adaptation field exist
|
1
|
1 means presence of the adaptation field
|
| Payload data exist
|
1
|
1 means presence of data
|
| Continuity counter
|
4
|
|
|
|
|
Note: the total number of bits above is 32 and is called the transport stream 4-byte prefix.
|
| Adaptation field
|
0 or more
|
Depends on flags
|
| 0 or more
|
Depends on flags
|
|
| Adaptation Field Format
|
||
| Name
|
Number |
Description
|
| Adaptation Field Length
|
8
|
Number of bytes in the adaptation field immediately following this byte
|
| Discontinuity indicator
|
1
|
Set to 1 if a discontinuity occurred in the continuity counter of the TS packet
|
| Random Access indicator
|
1
|
Set to 1 if the PES packet in this TS packet starts a video/audio sequence
|
| Elementary stream priority indicator
|
1
|
1 = higher priority
|
| PCR flag
|
1
|
1 means adaptation field does contain a PCR field
|
| OPCR flag
|
1
|
|
| Splicing point flag
|
1
|
1 means presence of splice countdown field in adaptation field
|
| Transport private data flag
|
1
|
1 means presence of private data bytes in adaptation field
|
| Adaptation field extension flag
|
1
|
1 means presence of adaptation field extension
|
| Below fields are optional
|
variable
|
Depends on flags
|
| PCR
|
33+9
|
Program clock reference
|
| OPCR
|
33+9
|
Original Program clock reference. Helps when one TS is copied into another
|
| Splice countdown
|
8
|
Indicates how many TS packets from this one a splicing point occurs (may be negative)
|
| stuffing bytes
|
variable
|
|
其中,在包头中：
同步字节(sync byte)的自动相关特性，检测数据流中的包限制，建立包同步；
传输误码指示符(Transport Error Indicator)，指有不能消除误码时，采用误码校正解码器可表示1bit 的误码，但无法校正；
有效载荷单元起始指示符(Payload Unit Start Indicator)，表示该数据包是否存在确定的起始信息；
传输优先级(Transport Priority)，是给TS包分配优先权；PID值是由用户确定的，解码器根据PID将TS上从不同ES来的TS包区别出来，以重建原来的ES；
传输加扰控制(Scrambling control)，可指示数据包内容是否加扰，但包头和自适应区永远不加扰；
自适应区控制存在字段(Adaptation field exist)，用2 bit表示有否自适应区，即（01）表示有有用信息无自适应区，（10）表示无有用信息有自适应区，（11）表示有有用信息有自适应区，（00）无定义；
载荷存在标记字段(Payload data exist),1一位着存在载荷；
连续计数器(Continuity counter)可对PID包传送顺序计数，据计数器读数，接收端可判断是否有包丢失及包传送顺序错误。显然，包头对TS包具有同步、识别、检错及加密功能。
TS包自适应区由自适应区长、各种标志指示符、与插入标志有关的信息和填充数据4部分组成。其中标志部分由间断指示符、随机存取指示符、ES优化指示符、PCR标志、接点标志、传输专用数据标志、原始PCR标志、自适应区扩展标志8个部分组成。重要的是标志部分的PCR字段，可给编解码器的27MHz时钟提供同步资料，进行同步。其过程是，通过PLL，用解码时本地用PCR相位与输入的瞬时PCR相位锁相比较，确定解码过程是否同步，若不同步，则用这个瞬时PCR调整时钟频率。因为，数字图像采用了复杂而不同的压缩编码算法，造成每幅图像的数据各不相同，使直接从压缩编码图像数据的开始部分获取时钟信息成为不可能。为此，选择了某些（而非全部）TS包的自适应区来传送定时信息。于是，被选中的TS包的自适应区，可用于测定包信息的控制bit和重要的控制信息。自适应区无须伴随每个包都发送，发送多少主要由选中的TS包的传输专用时标参数决定。标志中的随机存取指示符和接点标志，在节目变动时，为随机进入I帧压缩的数据流提供随机进入点，也为插入当地节目提供方便。自适应区中的填充数据是由于PES包长不可能正好转为TS包的整数倍，最后的TS包保留一小部分有用容量，通过填充字节加以填补，这样可以防止缓存器下溢，保持总码率恒定不变。