FFmpeg之视频封装格式、流媒体协议、视频编解码协议和传输流格式、时间戳和时间基、视频像素数据

 

通用视频分析工具:Mediainfo、Elecard StreamEye(视频编码分析工具);

视频封装格式:

********************MP4******************

MP4：https://blog.csdn.net/qq_25333681/article/details/93144167、https://www.cnblogs.com/ranson7zop/p/7889272.html

还有以mp4为基础进行的扩展或者是缩水版本的格式，包括：M4V, 3GP, F4V

解析工具：mp4info（只有windows版）、mp4box（https://www.videohelp.com/software/MP4Box）、Elecard HEVC Analyzer（除了MP4外还能分析许多其他格式）、在先解析MP4的网站http://download.tsi.telecom-paristech.fr/gpac/mp4box.js/;

MP4总体结构列表：下面表格中的左边六列都是box的类型。

Box类型						必须	描述
ftyp						√	file type and compatibility  文件类型-----在文件的开始位置，描述的文件的版本、兼容协议等
pdin							progressive download information  下载进度
moov						√	container for all the metadata  音视频数据的metadata信息------用来存放媒体的metadata信息
	mvhd					√	movie header, overall declarations  电影文件头-----用来存放文件的总体信息，如时长和创建时间等。它是独立于媒体的并且与整个播放相关
	trak					√	container for an individual track or stream  流的track-------trak中的一系列子box描述了每个媒体轨道的具体信息
		tkhd				√	track header, overall information about the track  流信息的track头----包含了该track的特性和总体信息，如时长，宽高等
		tref					track reference container  track参考容器
		edts					edit list container  edit list容器
			elst				an edit list    edit list元素
		mdia				√	container for the media information in a track  track里面的media信息-----包含类整个track的媒体信息，比如媒体类型和sample信息
			mdhd			√	media header, overall information about the media  media信息头-----包含了了该track的总体信息，mdhd 和 tkhd 内容大致都是一样的。 tkhd 通常是对指定的 track 设定相关属性和内容，而 mdhd 是针对于独立的 media 来设置的，一般情况下二者相同
			hdlr			√	handler, declares the media (handler) type    media信息的句柄----解释了媒体的播放过程信息，该box也可以被包含在meta box（meta）中
			minf			√	media information container   media信息容器
				vmhd			video media header, overall information (video track only)  视频meida头（只存在于视频的track中）----用在视频track中，包含当前track的视频描述信息（如视频编码等信息）
				smhd			sound media header, overall information (sound track only)  音频meida头（只存在于音频的track中）
				hmhd			hint media header, overall information (hint track only)      提示meida头（只存在于提示的track中）
				nmhd			Null media header, overall information (some tracks only)   空meida头（其他的track中）
				dinf		√	data information box, container   数据信息容器
					dref	√	data reference box, declares source(s) of media data in track   数据参考容器，track中media的参考信息----track可以被分成若干段， 每一段都可以根据“url”或“urn”指向的地址来获取数据，sample描述中会用这些片段的序号将这些片段组成一个完整的track。 一般情况下，当数据被完全包含在文件中时，“url”或“urn”中的定位字符串是空的
				stbl		√	sample table box, container for the time/space map   采样表容器，容器做时间与数据所在位置的描述------包含了关于track中sample所有时间和位置的信息， 以及sample的编解码等信息
					stsd	√	sample descriptions (codec types, initialization etc.)    采样描述（cdec类型和初始化信息）
					stts	√	(decoding) time-to-sample     （decoding）采样时间
					ctts		(composition) time to sample    （composition）采样时间
					stsc	√	sample-to-chunk, partial data-offsetinformation   chunk采样，数据片段信息
					stsz		sample sizes (framing)   采样大小
					stz2		compact sample sizes (framing)   采样大小的详细描述
					stco	√	chunk offset, partial data-offset information   chunk偏移信息，数据偏移信息
					co64		64-bit chunk offset     64位的chunk偏移信息
					stss		sync sample table (random access points)   同步采样表
					stsh		shadow sync sample table   采样同步表
					padb		sample padding bits    采样间隔
					stdp		sample degradation priority   采样退化优先描述
					sdtp		independent and disposable samples  独立于可支配采样描述
					sbgp		sample-to-group    采样组
					sgpd		sample group description   采样组描述
					subs		sub-sample information   子采样组描述
	mvex						movie extends box     视频扩展容器
		mehd					movie extends header box  视频扩展容器头
		trex				√	track extends defaults      track扩展信息
	ipmc						IPMP Control Box    IPMP控制容器
moof							movie fragment      视频分片-----这个box是视频分片的描述信息。并不是MP4文件必须的部分， 但在我们常见的可在线播放的MP4格式文件中确是重中之重。
	mfhd					√	movie fragment header    视频分片头
	traf						track fragment    track分片
		tfhd				√	track fragment header    track分片头
		trun					track fragment run    track分片run信息
		sdtp					independent and disposable samples   独立和可支配的采样
		sbgp					sample-to-group    采样组
		subs					sub-sample information    子采样组
mfra							movie fragment random access    视频分片访问控制信息-------一般在文件末尾，媒体的索引文件，可通过查询直接定位所需时间点的媒体数据。
	tfra						track fragment random access    track分片访问控制信息
	mfro					√	movie fragment random access offset    视频分片访问控制偏移量
mdat							media data container    media数据容器----用来存储媒体数据，我们最终解码播放的数据都在这里面
free							free space   空闲区域
skip							free space  空闲区域
	udta						user-data  用户数据
		cprt					copyright etc.    copyright信息
meta							metadata     元数据
	hdlr					√	handler, declares the metadata (handler) type    定义元数据的句柄
	dinf						data information box, container    数据信息容器
		dref					data reference box, declares source(s) of metadata items    元数据的源参考信息
	ipmc						IPMP Control Box    IPMP控制容器
	iloc						item location     所在位置信息容器
	ipro						item protection     样本保护容器
		sinf					protection scheme information box    计划信息保护容器
			frma				original format box    原格式容器
			imif				IPMP Information box    IPMP信息容器
			schm				scheme type box     计划类型容器
			schi				scheme information box     计划信息容器
	iinf						item information     容器所在项目信息
	xml						XML container     XML容器
	bxml						binary XML container    binary  XML容器
	pitm						primary item reference     主要参考容器
	fiin						file delivery item information   文件发送信息
		paen					partition entry    partition入口
			fpar				file partition    文件片段容器
			fecr				FEC reservoir
		segr					file delivery session group    文件发送session组信息
		gitn					group id to name   组id转名称信息
		tsel					track selection    track选择信息
meco							additional metadata container    追加的metadata信息
	mere						metabox relation   metabox关系

moov和mdat的存放位置前后没有强制要求，在互联网视频点播中，如果希望MP4文件被快速打开，需要将moov放在mdat前面，如果放在后面则需要将MP4文件下载完才能进行播放。

• box：由唯一类型标识符和长度定义的面向对象的构件
• container box：用来容纳一组相关box的box，container box通常都不是fullbox
• chunk：同一轨道的一组连续的采样
• hint track：不包含媒体数据，但包含了将一个或多个轨打包到流频道的指示
• media data box：用来容纳实体数据的box
• movie box：子box定义了元数据（metadata）的容器box
• sample：是媒体数据的存储单元，与单个时间戳相关联的所有数据，video sample即为一帧视频，或一组连续视频帧，audio sample即为一段连续的压缩音频
• sample description：定义和描述轨中的采样的格式的结构
• sample table：指明sampe时序和物理布局的表
• track：按时间排序的相关的采样，对于媒体数据来说，track表示一个视频或音频序列

1.MP4文件由一系列的Box对象组成或者FullBox组成（FullBox是Box的扩展，在Box结构的基础上，在Header中增加了8位的version标志和24位的flags标志），所有的数据都包含在这些box中，除了box之外，无其他数据。Mp4文件中，有且仅有一个FileTypeBox， 类型是ftyp。

track（sample序列或者多个chunk）-》chunk（几个sample）-》sample（一帧视频或一段音频）

 

2.每一个Box都由Header和Data两部分组成。

3.Box Header包含了size（Box大小）和type（Box 类型）。先是4个字节表示Box大小，后面跟着4个字节表示Box类型，如“ftyp”、“moov”等，这些box type都是已经预定义好的，分别表示固定的意义。如果是“uuid”，表示该box为用户扩展类型。如果box type是未定义的，应该将其忽略。size大小包括Header在内的整个Box占用的大小。在size指定的空间中，除了Box header占用的空间外，其它空间由真实的数据（BoxData）数据占据。这些数据，可能包括其它子Box、也可能是媒体数据。大多数标准的Box使用的都是32位（4个字节）的size和32位type，只有包含了媒体数据的Box需要使用64位size。

size有两种特殊的情形：实际上只有“mdat”类型的box才有可能用出现下面两种情况。

1. 当size为1时，BoxHeader中将多出一个64位的largesize，此时Box的大小由largesize决定。
2. 当size为0时，表示当前Box是文件中最后一个Box，并且从该Box的Header开始直到文件末尾都是该Box的数据（通常用于保存Media Data）。

 

• version字段：version是一个整数值（int），用于表示该Box的版本。
• flags字段： 是一个map类型的标志。
• 如果无法识别的version应该被忽略或者跳过不处理。

4.常用的Box：

File Type Box：具有兼容性，纯粹的ftyp类型的Box很少见。---在文件的开始位置，描述的文件的版本、兼容协议等；

Box类型：‘ftyp’；容器： 文件；是否强制：是；数量： 1个。

该box有且只有1个，并且只能被包含在文件层，而不能被其他box包含。该box应该被放在文件的最开始，指示该MP4文件应用的相关信息，也不包含其它的Box。

Movie Box

Box类型：‘moov’；容器： 文件；是否强制：是；数量： 1个。

是一个containerbox，用于展示的媒体数据，都包含在moov中，包括音频、视频，同时也包含metedata数据。该Box一般紧跟在ftyp后面，moov占用了大部分的文件空间。'moov’类型的Box主要功能是包含其它类型的Box。该box有且只有一个，且只被包含在文件层。“moov”中会包含1个“mvhd”和若干个“trak”。“mvhd”（Movie Header Box）一般作为“moov”的第一个子box出现。

moov中至少要包含以下三种Box的其中一种：

mvhd：Movie Header Atom，存放未压缩过的影片信息的头容器；

cmov：Compressed Movie Atom，压缩过的电影信息容器，不常用；

rmra：Reference Movie Atom ，参考电影信息容器，不常用；

另外还可以包含其他的容器，如影片剪辑信息clipping（clip）、一个或多个Trak、一个Color Tab（ctab）、一个User Data（udta）。

 

Movie Header Box-------记录了创建时间、修改时间、时间度量标尺、可播放时长等信息

Box类型：'mvhd ’；容器： Movie Box (‘moov’)；是否强制：是；数量： 1个。

该Box定了与媒体数据无关，与媒体文件相关的整体信息。

字段	字节数	意义
box size尺寸	4	box大小
box type类型	4	box类型
version版本	1	Box的版本，在FullBox中定义，0或1，一般为0。（以下字节数均按version=0）
flags标志	3
creation time 生成时间	4	用于表示图像的创建时间，单位是秒（相对于UTC时间1904-01-01零点的秒数）
modification time 修改时间	4	整数，表示图像最近的修改时间，单位是秒（相对于UTC时间1904-01-01零点的秒数）
time scale	4	整数，文件媒体在1秒时间内的刻度值，指定整体图像文件的时间尺度，表示一秒钟的时间单位数。例如时间坐标轴上，一秒钟分为60个单位，那么时间尺度为60。该值与duration一起计算媒体播放时长。
duration	4	整数，申明媒体持续时长（在指定的时间尺度下），该值和最长的track持续时间的值保持一致。如果无法确定，值将被设置为1s。实际播放时间计算公式：duration/timescale秒。比如audio track的time scale = 8000, duration = 560128，时长为70.016，video track的time scale = 600, duration = 42000，时长为70
rate 播放速度	4	播放速度，通常为1.0，高16位和低16位分别为小数点整数部分和小数部分，即[16.16] 格式，该值为1.0（0x00010000）表示正常前向播放
volume 音量	2	播放音量与rate类似，[8.8] 格式，1.0（0x0100）表示最大音量
reserved 保留	10	保留位
matrix 矩阵结构	36	视频变换矩阵，两个空间坐标的映射关系
pre-defined 预览时间	24	预览duration
Poster Time	4	Poster的时间值

Selection time	4	当前选择时间的开始值
Selection duration	4	当前选择时间的计算后的时间值
当前时间	4	当前时间
next track id	4	非零整数，用于表示继续往文件中追加track时使用的id值。下一个track使用的id号，该值肯定比已有trackID大

Track Box ------trak中的一系列子box描述了每个媒体轨道的具体信息。

Box类型：'trak ’；容器： Movie Box (‘moov’)；是否强制：是；数量： 1个或多个

是一个containerbox，包含了该track的媒体数据引用和描述（hint track除外）。一个MP4文件中的媒体可以包含多个track，且至少有一个track，这些track之间彼此独立，有自己的时间和空间信息。每个Track容器都有与它关联的media容器描述信息。Track Box必须包含Track Header Box（tkhd）和Media Box（mdia），此外还有很多可选的box，例如：

Track 剪辑容器：Track Clipping Box（clip）；

Track 画板容器：Track Matte Box（matt） ；

Edit容器：Edit Box（edts）；

Track参考容器：Track Reference Box（tref）；

Track 配置加载容器：Track Load Setting Box（load）；

Track 映射容器：Track Input Map Box（imap）；

用户数据容器：User Data Box（udta）；

trak容器的主要是使用目的如下：

包含媒体数据的引用和描述（media track）；

包含mofier track信息；

流媒体协议的打包信息（hint track），hint track可以引用或者复制对应的媒体采样数据，它本身并不包含媒体数据；

track是多媒体文件中可以独立存操作的媒体单位，一个音频流就是一个track，一个视频流也是一个track。

hint track和mofier track必须保证完整性，同时要与至少一个media track一起存在。

Track Header Box

Box类型：‘tkhd’；容器： Track Box (‘trak’)；是否强制：是；数量： 1个

该Box用于描述Track的基本属性，一个track中有且只有一个Track Header Box。

字段	长度/字节	含义
尺寸	4	Box的字节数
类型	4	tkhd
版本	1	Box的版本
标志	3	0x0001:track生效、 0x0002：track被用在Movie中、 0x0004：track被用在Movie预览中、 0x0008：track被用在Movie的Poster中； 媒体轨道的flag标志的默认值为7（即111：track_enabled，track_in_movie，track_in_preview）。 如果在媒体数据中所有轨道都没有设置track_in_movie和track_in_preview，则应将所有轨道视为在所有轨道上都设置了两个标志。 服务器提示轨道（hint track）应将track_in_movie和track_in_preview设置为0，以便在本地回放和预览时忽略它们。
生成时间	4	Movie Box的起始时间
修订时间	4	Movie Box的修订时间
Track ID	4	唯一标志改Track的一个非0值
保留	4	0
Duration	4	整数，申明媒体持续时长（在Movie Header Box指定的时间尺度下）。如果无法确定，值将被设置为1s。
保留	8	0
Layer	2	视频层，默认为0，值小的在上层
alternate_group	2	是一个整数，指定一组或一组轨道，该值默认为0，表示没有和其它轨道关联
音量	2	Track的音量，1.0为正常音量
保留	2	0
矩阵结构	36	矩阵定义了此Track中两个坐标空间的映射关系

宽度	4	如果Track是video track，表示图像宽度，音频的话应该设置为0； 文字或者字幕track，宽高取决于编码格式，用于描述推荐渲染区域的尺寸。 对于这样的轨道，值0x0也可用于指示数据可以以任何大小呈现，并没有指定最优显示尺寸， 它的实际大小可以通过外部上下文或通过重用另一个轨道的宽高来确定。 对于这种轨道，也可以使用标志track_size_is_aspect_ratio。
高度	4	如果Track是video track，表示图像高度，音频的话应该设置为0

 

 

Media Box

Box类型：‘mdia’；容器： Track Box (‘trak’)；是否强制：是；数量： 1个

是一个containerbox，Media Box包含声明有关轨道中媒体数据信息的所有对象，track媒体类型以及sample数据，描述sample信息。这是一个简单的容器对象。

一个Media Box必须包含以下容器：

媒体头：Media Header Box（mdhd）；

句柄参考：Handler Reference（hdlr）；

媒体信息：Media Infomation（minf）；

用户数据：User Data Box（udta）；

Media Header Box

Box类型：‘mdhd’；容器： Media Box (‘mdia’)；是否强制：是；数量： 1个

Media Header Box 声明整体的媒体信息，这些信息也和track中的媒体特性相关。

字段	字节数	意义
box size	4	box大小字节数
box type	4	mdhd
version	1	box版本，0或1，一般为0。（以下字节数均按version=0）
flags	3
creation time	4	创建时间（相对于UTC时间1904-01-01零点的秒数）
modification time	4	修改时间
time scale	4	时间计算单位
duration	4	track的时间长度
language	2	媒体语言码。最高位为0，后面15位为3个字符（见ISO 639-2/T标准中定义）
pre-defined	2	媒体回放质量，默认值为0

Handler Reference Box 

Box类型：‘hdlr’；容器： Media Box (‘mdia’)或者Meta Box(‘meta’)；是否强制：是；数量： 1个

该Box申明了track的媒体类型，描述了track中媒体数据播放的处理过程。该box也可以被包含在meta box（meta）中。

字段	字节数	意义
box size	4	box大小
box type	4	box类型
version	1	box版本，0或1，一般为0。（以下字节数均按version=0）
flags	3
pre-defined	4
handler type	4	只有两种类型：mhlr和dhlr mhlr：media handlers；它的子类型字段定义的就是数据类型，如下：          “vide”— video track           “soun”— audio track             “hint”— hint track   dhlr：data handlers；它的子类字段定义的是数据引用类型，如文件的别名alis；   当该Box位于Media Box中，表示当前track的处理类型。如：video、audio、hint track、meta track等。 当存在于Meta Box中时，包含指定Meta Box的内容格式。 可以在住Meta Box中使用值’null’来指示它 仅用于保存资源。
reserved 保留	12	保留字段，默认为0
component name	不定	track type name，以‘\0’结尾的字符串，component就是生成此media的media handler，该字段长度可以为0；

 

Media Information Box

Box类型：'minf ’；容器： Media Box (‘mdia’)；是否强制：是；数量： 1个

是一个containerbox，该box包含了track中声明了媒体特征信息的所有对象。 它存储了解释track媒体数据的handler-specific信息，media handler用这些信息将媒体时间映射到媒体数据并进行处理。“minf”中的信息格式和内容与媒体类型以及解释媒体数据的media handler密切相关，其他media handler不知道如何解释这些信息。minf容器中的信息将作为音视频数据的映射存在，其包括以下的容器：

视频信息头：Viedo Meida Information Header（vmhd）；

音频信息头：Sound Media Information Header （smhd）；

数据信息：Data Information（dinf）；

采样表：Sample Table（stbl）；

Video media header

Box类型：‘vmhd’；容器： Media Information Box (‘minf’)；是否强制：是；数量： 1个

字段	字节数	意义
box size	4	box大小
box type	4	box类型
version	1	box版本，0或1，一般为0。（以下字节数均按version=0）
flags	3	1
graphics mode图形模式	4	视频合成模式，为0时拷贝原始图像，否则与opcolor进行合成
opcolor	2×3	颜色值｛red，green，blue｝

Sound Media Header 

Box类型：‘smhd’；容器： Media Information Box (‘minf’)；是否强制：是；数量： 1个

该Box包含音频相关的媒体信息。该Header对于所有包含了audio的track适用。

字段	字节数	意义
box size	4	box大小
box type	4	box类型
version	1	box版本，0或1，一般为0。（以下字节数均按version=0）
flags	3	0
balance	2	立体声平衡，[8.8] 格式值，一般为0，-1.0表示全部左声道，1.0表示全部右声道，音频均衡是用来控制计算机连个扬声器的声音混合效果。
reserved	2	保留字段，默认值0；

 

Track Data Layout Structures 

Box类型：‘dinf’；容器： Media Information Box (‘minf’)或者Meta Box (‘meta’)；是否强制：是；数量： 1个

是一个containerbox，该Box包含媒体信息在track中的位置信息，包含一个’dref’类型的Box。

字段	字节数	意义
box size	4	box大小
box type	4	box类型
version	1	box版本，0或1，一般为0。（以下字节数均按version=0）
flags	3	0
条目数目	4	data references的数目

Data Reference Box

Box类型：'dref ’；容器： Data Information Box (‘dinf’)；是否强制：是；数量： 1个

字段	字节数	意义
box size	4	box大小
box type	4	url/alis/rsrc
version	1	data reference的版本
flags	3	0x0001
数据	可变	data  reference信息

Data Reference Box对象包含一个数据引用表（通常是URL），用于声明播放需要使用到的媒体数据的位置。

引用表中的数据索引（index）和track中的数据绑定。通过这种方式，一个track可能被分割为多个sources。

track可以被分成若干段，每一段都可以根据“url”或“urn”指向的地址来获取数据，sample描述（stbl）中会用这些片段的序号将这些片段组成一个完整的track。一般情况下，当数据被完全包含在文件中时，“url”或“urn”中的定位字符串是空的。

Sample Table Box-----指明sampe时序和物理布局的表

Box类型：‘stbl’；容器： Media Information Box (‘minf’)；是否强制：是；数量： 1个

是一个containerbox，是MP4中最复杂的一个box，采样参数列表容器它包含了一个track中所有媒体样本的所有时间和数据的引用信息。使用容器中的sample信息，可以定位sample的媒体时间、定位其类型，决定其大小，以及在其它容器中，确定相邻sample的offset。sample是媒体数据存储的单位，存储在media的chunk中。

Sample Table Box它包含以下容器：

采样描述容器：Sample Description Box （stsd）；

采样时间容器：Time to Sample Box(stts);

采样同步容器：Sync Sample Box(stss);

Chunk采样容器：Sample To Chunk Box（stsc）；

采样大小容器：Sample Size Box（stsz）；

Chunk偏移容器：Chunk Offset Box(stco);

Shadow 同步容器：Shadow Sync Box（stsh）；

如果Sample Table Box所在的track没有引用任何数据，那么它就不是一个有用的media track，不需要包含任何子Box；

如果Sample Table Box所在的track引用了数据，那么他必须包含以下Box：采样描述容器、采样大小容器、Chunk采样容器、Chunk偏移容器，所有的子表都有相同的sample数目。Sample Description Box （stsd）是必不可少的一个Box，至少包含一个条目，该box包含了Data reference box进行sample数据检索的信息。没有Sample Description Box （stsd）就无法计算media sample的存储位置。“stsd”包含了编码的信息，其存储的信息随媒体类型不同而不同。Sync Sample Box(stss)是可选的，如果不存在Sync Sample Box，则所有样本都是同步样本。

Sample Description Box

Box类型：‘stsd’;容器： Sample Table Box (‘stbl’);是否强制：是;数量： 1个

样本描述容器：提供了编码类型和用于编码初始化的详细信息。视频的编码类型、宽高、长度，音频的声道、采样等信息都会出现在这个box中。

 

Decoding Time to Sample Box 

Box类型：‘stts’；容器： Sample Table Box (‘stbl’)；是否强制：是；数量： 1个

该Box包含了一个解码时间到sample索引的映射关系表（Table entries）。entries表中的每个entry给出了具有相同时长的连续sample的数和这些sample的时间间隔值。将这些时间间隔相加在一起，就可以得到一个完整的time与sample之间的映射。将所有的时间间隔相加在一起，就可以得到该track的总时长。  “stts”存储了sample的duration，描述了sample时序的映射方法，我们通过它可以找到任何时间的sample。“stts”可以包含一个压缩的表来映射时间和sample序号，用其他的表来提供每个sample的长度和指针。表中每个条目提供了在同一个时间偏移量里面连续的sample序号，以及samples的偏移量。递增这些偏移量，就可以建立一个完整的time to sample表。

Sync Sample Box

Box类型：‘stss’；容器： Sample Table Box (‘stbl’)；是否强制：否；数量： 0个或1个

该Box提供流中同步样本的紧凑标记，标记了关键帧，提供随机访问点标记。 它包含了一个table， table的每个entry标记了一个sample，该sample是媒体关键帧。table按sample编号的严格递增顺序排列。如果不存在该Box，则每个sample都是关键帧。

Composition Time to Sample Box

Box类型：‘ctts’；容器： Sample Table Box (‘stbl’)；是否强制：否；数量： 0个或1个

Composition Time to Sample Box也被称为时间合成偏移表，每个音视频的sample都有自己解码顺序和显示顺序。对每个sample而言，解码顺序和显示顺序往往都不相同。这时，就有了Composition Time to Sample Box。

有一种特殊情况，sample的解码顺序和显示顺序一致。那么mp4文件中将不会出现Composition Time to Sample Box，Decoding Time to Sample Box ：‘stts’ 将即提供解码顺序，也代表了显示顺序，同时可以根据时长计算每个sample开始和结束的时间。

一般而言，显示顺序和和解码顺序通常不一致（涉及到I、P、B帧的解码顺序）。此时Decoding Time to Sample Box提供解码顺序，Composition Time to Sample Box通过差值的形体，可以计算出显示时间。

Sample To Chunk Box

Box类型：‘stsc’；容器： Sample Table Box (‘stbl’)；是否强制：是；数量： 1个

媒体数据中的sample被分组为一个个chunk，一个chunk可以包含多个sample。 chunk可以具有不同的大小，并且chunk内的sample可以具有不同的大小。

Sample To Chunk Box中有一个table，该table可用于查找包含样本的块，其位置以及关联的sample信息。

每个entry都给出具有相同特征的一组chunk的第一个chunk的索引，和这些具有相同特征的chunk中每个包含几个sample。

Sample Size Boxes 

Box类型：‘stsz’ 、 'stz2 ’；容器： Sample Table Box (‘stbl’)；是否强制：是；数量： 1个

Sample Size Boxes给出了sample的总数，以及一张关于sample大小的表。该表显示了sample和sample size的映射关系。

Chunk Offset Box 

Box类型：‘stco’ 、 ‘co64’；容器： Sample Table Box (‘stbl’)；是否强制：是；数量： 1个

Chunk Offset Box 包含一个chunk的偏移表，将每个chunk的索引提供给包含文件。 有两种版本，允许使用32位或64位偏移。 后者在管理非常大的演示文稿时非常有用。 这些变体中的至多一个将出现在样本表的任何单个实例中。如果Box类型是’stco’ ，则是32位， 'co64’为64位。偏移是文件偏移，而不是文件中任何Box（例如Media Data Box）的偏移。 这允许在没有任何Box结构的文件中引用媒体数据。 它还意味着在构建一个自包含的ISO文件时必须小心，因为Movie Box的大小会影响媒体数据的块偏移。

edts容器

该容器定义了创建Movie媒体文件中一个track的一部分媒体，所有的edts数据都在一个表里，包括每一部分的时间偏移量和长度，如果没有该表那么track就会立即开始播放，一个空的edts数据用来定位到track的起始时间偏移位置。

 

***************************FLV****************************

flv：https://blog.csdn.net/weixin_42462202/article/details/88661883、https://blog.csdn.net/whoyouare888/article/details/100095059、https://blog.csdn.net/huibailingyu/article/details/42879573和https://blog.csdn.net/weixin_42462202/article/details/88665310（打包h264到flv）

由Adobe Flash延伸出来的的一种流行网络视频封装格式。可以很好的保护原始地址，不容易被下载到，目前很多视频分享网站都采用这种格式。FLV 封装的媒体文件具有体积轻巧、封装播放简单等特点，很适合网络应用。目前各浏览器普遍使用 Flash Player 作为网页播放器，使得安装有浏览器的计算机终端不需要另外安装播放器，这也是 FLV 格式广为流行的原因之一。

解析工具：flvparse、FlvAnalyzer、命令ffprobe -v trace -i xx.flv也可以解析，还能够将关键帧索引相关信息打印出来；

flv的总体结构：

FLVHeader的结构：Header 部分记录了FLV的类型、版本、流信息、Header 长度等。一般整个Header占用9个字节，大于9个字节则表示头部信息在这基础之上还存在扩展数据。

举例：

Signature：0x46('F')
Signature：0x4c('L')
Signature：0x56('V')
Version：01
Flags：01
    TypeFlagsReserved [Bit 3-7]：0
    TypeFlagsAudio [Bit 2]：0
    TypeFlagsReserved [Bit 1]：0
    TypeFlagsVideo [Bit 0]：1
DataOffset：00 00 00 09
preTagSize：00 00 00 00 // 第一个tag默认为0

 

FLV Body的结构：Body 是由多个Tag组成的，每个Tag下面有PreviousTagSize（占4个字节的空间，表示的是PreviousTagSize前面的Tag的大小），用来记录这个Tag 的长度，对于FLV版本0x01来说，数值等于 11(tag header总是11个字节) + Tag的DataSize。

每个FLV Tag 也是由两部分组成的：FLV Tag Header 和 FLV Tag Data。FLV Tag Header 存放了当前Tag的类型，数据长度、时间戳、时间戳扩展、StreamsID等信息，然后再接着数据区FLV Tag Data。

FLV Tag Header ：存放了当前Tag的类型，数据长度、时间戳、时间戳扩展、StreamsID等信息。一般tagheader占用11个字节。

举例：

TagType：12（表示这是一个script tag）
Datasize：00 00 9f（Tag Data 部分的大小）
Timestamp：00 00 00（该Tag的时间戳）
Timestamp_ex：00（时间戳的扩展部分）
StreamID：：00 00 00（总是0）

FLV Tag Data分成 Audio Tag ，Video Tag ，Script Tag 三种。

Audio Tag ：音频的Tag Data又分为 Audio Tag Header 和Audio Tag Data 。

Audio Tag Header：通常占用1个字节，包含四个参数。

Audio Tag Data：当音频为AAC编码时，比其他编码会多出一个AACPacketType（占用一个字节），0表示AAC的序列头，1表示裸数据。

前4bits表示SoundFormat，其数值对应声音格式，如下：
0 - Linear PCM, platform endian
1 - ADPCM
2 - MP3
3 - LinearPCM，little endian
4 - Nellymoser 16-kHz mono
5 - Nellymoser 8-kHZ mono
6 - Nellymoser
7 - G.711 A-law logarithmic PCM
8 - G.711 U-law logarithmic PCM
9 - reserved
10 - AAC
11 - Speex
14 - MP3 8-kHz
15 - Device-specific sound

第5、6bit 表示SoundRate，数值对应采样率，对于AAC来说，总是3：
0 - 5.5kHz
1 - 11kHz
2 - 22kHz
3 - 44kHz

第7bit 表示采样大小：
0 - snd 8 bit
1 - snd 16 bit

第8bit 表示音频声道数，对于AAC来说，总是1：
0 - sndMono
1 - sndStereo

针对AAC编码，AudioData数据区的定义如下：
AACPacketType = 0 时，表示AAC序列头，也就是AudioSpecificConfig， AACPacketType = 1 时，表示AAC的裸流，也就是AAC Raw frame data。

Video Tag ：Video Tag 由一个字节的Video Tag Header 和Video Tag Data 。

Video Tag Header：通常由一个字节构成，包含两个参数，前4bit表示类型，后4bit表示编码器Id。

Video Tag Data ：下面的例子是H264编码，比一般的编码会多出AACPacketType（占一个字节）和compositionTime（CTS，PTS和DTS的时间差，占三个字节）；

如果是H264编码，上面data数据就是NALU数据包，如果有其他编码格式，就是他类型的数据包。

当采用H264编码时，videoData区内容规则如下：AACPacketType = 0 时，data的内容就是AVCDecoderConfigurationRecord；AVCsequenceheader（H264序列头）只会出现在第一个Video Tag，且只有一个。为了能够从FLV中获取NALU，必须知道前面的NALU长度所占的字节数，通常是1、2、4个字节，这个内容则必须从AVCDecoderConfigurationRecord中获取。

configurationVersion：01
AVCProfileIndication：64
profile_compatibility：00
AVCLevelIndication：1e
lengthSizeMinusOne：ff （NALUSize的长度，计算方法为：1 + (lengthSizeMinusOne & 3)=4）
numOfSequenceParameterSets：e1（低五位为SPS的个数，计算方法为：numOfSequenceParameterSets & 0x1F=1）
sequenceParameterSetLength：00 18（SPS的长度，24）
sequenceParameterSetNALUnits：67 64 00 1e ac d9 40 a0 33 b0 11 00 00 03 02 47 00 00 6d 34 0f 16 2d 96（SPS）
numOfPictureParameterSets：01（PPS的个数）
pictureParameterSetLength：00 06（PPS的长度）
pictureParameterSetNALUnits：68 eb e3 cb 22 c0（PPS）
previousTagSize：00 00 00 39

当AACPacketType = 1 时，数据区的内容就是H264裸流数据（NALU数据，NALU  length和NALU Data依次交替排列，如下图）。

Script Tag ：没有header，只有Script Tag Data。Script Tag 封装了单一方法，此方法通常在 Flash 播放器中的网络流对象上被调用。数据 Tag 包含方法名和一组参数,也就是两个AMF包。当FLV Tag Header中TagType = 0x12时， 这个Tag就是Script tag。Script Tag一般只有一个，是FLV文件的第一个Tag，用于存放FLV文件信息，比如时长、分辨率、音频采样率等。所有的数据都是以数据类型 + (数据长度) + 数据出现，数据类型占1个字节，数据长度看数据类型是否存在，后面才是数据。

Script Tag Data结构包含两个AMF包。AMF（Action Message Format）是Adobe设计的一种通用数据封装格式。AMF(Action Message Format)是Flash与服务端通信的一种常见的二进制编码模式，其传输效率高，可以在HTTP层面上传输。https://blog.csdn.net/cabbage2008/article/details/50500021/、https://www.cnblogs.com/lidabo/p/9018548.html

举例： 

AMF1包：

type：02（表示字符串）
stringLen：00 0a（字符串长度为10）
string：6f 6e 4d 65 74 61 44 61 74 61（onMetaData）

AMF2包：

type：08（表示数组）
arrayNum：00 00 00 07（数组元素个数）
stringLen：00 08（第一个数组元素字符串长度）
string：64 75 72 61 74 69 6f 6e（duration）
valType：00（数据类型，double型）
val：40 03 70 a3 d7 0a 3d 71（double型）
stringLen：00 05
string：77 69 64 74 68（width）
...
end：00 00 09

 

AMF2包数组中的元素，按照键值对出现，键值对仅跟着上一个键值对，最后还有一个数组的结束符00 00 09。键其实就是属性名（PropertyName包含StringLength和StringData两个数据），值就是属性值（PropertyData包括类型和数据）。

SCRIPTDATAVALUE （AMF2包的内容）的两个字段，Type 是类型，ScriptDataValue 是值。Type 的值确定 ScriptDataValue 的类型。因为 ScriptDataValue 的类型是动态的，由运行时解析得到的 Type 的值确定，所以这里类型和值用了两个字段。如果是静态类型，显然只用一个字段就可以了。

ScriptDataValue 的类型解析如下：

SCRIPTDATA：

SCRIPTDATA 包含 Body 字段。如果采用了加密，Body 的类型是 EncryptedBody。如果未采用加密，则 Body 的类型是 ScriptTagBody。ScriptTagBody 包含以 AMF(Action Message Format) 编码的 SCRIPTDATA。AMF 是一种紧凑二进制格式，用于序列化 ActionScript 对象图。

typedef struct {
  IF Encrypted
    EncryptedBody Body
  else
    ScriptTagBody Body;
}   SCRIPTDATA;

ScriptTagBody： 

typedef struct {
    SCRIPTDATAVALUE Name;//Data Tag 中的方法名，
    SCRIPTDATAVALUE Value;//方法的一组参数
}   ScriptTagBody;

SCRIPTDATASTRING:

typedef struct {
    UI16 StringLength;//StringData 字段的长度，单位字节，
    STRING StringData;//字符串实际数据，注意不带结束符 NUL。
}   SCRIPTDATASTRING;

SCRIPTDATAECMAARRAY:

typedef struct {
    UI32 ECMAArrayLength;//ECMA 数组元素个数
    SCRIPTDATAOBJECTPROPERTY[] Variables;//变量名和变量值的列表，即 ECMA 数组，数组元素是键值对
    SCRIPTDATAOBJECTEND ListTerminator;//列表终止符
}   SCRIPTDATAECMAARRAY;

SCRIPTDATAOBJECTPROPERTY：

typedef struct {
    SCRIPTDATASTRING PropertyName;//对象属性或变量的名称（包含StringLength和StringData两个数据）
    SCRIPTDATAVALUE PropertyData;//对象属性或变量的值和类型（包含类型和数据）
}   SCRIPTDATAOBJECTPROPERTY;

ScriptTagBody onMetaData;

onMetaData.Name.Type == 0x02
onMetaData.Name.ScriptDataValue.StringLength == 0x000A
onMetaData.Name.ScriptDataValue.StringData == "onMetaData"

onMetaData.Value.Type == 0x08
onMetaData.Value.ScriptDataValue.ECMAArrayLength == 
onMetaData.Value.ScriptDataValue.Variables[0].PropertyName == {0x0005, "width"}   // SCRIPTDATASTRING 类型
onMetaData.Value.ScriptDataValue.Variables[0].PropertyData == {0x00, 1280.0}      // SCRIPTDATAVALUE 类型
onMetaData.Value.ScriptDataValue.Variables[1].PropertyName == {0x0005, "height"}  // SCRIPTDATASTRING 类型
onMetaData.Value.ScriptDataValue.Variables[1].PropertyData == {0x00, 720.0}       // SCRIPTDATAVALUE 类型

ECMAARRAY数组中值的常用属性字段：

字段	类型	说明
audiocodecid	Number	音频编解码器 ID
audiodatarate	Number	音频码率，单位 kbps
audiodelay	Number	由音频编解码器引入的延时，单位秒
audiosamplerate	Number	音频采样率
audiosamplesize	Number	音频采样点尺寸
canSeekToEnd	Boolean	指示最后一个视频帧是否是关键帧
creationdate	String	创建日期与时间
duration	Number	文件总时长，单位秒
filesize	Number	文件总长度，单位字节
framerate	Number	视频帧率
height	Number	视频高度，单位像素
stereo	Boolean	音频立体声标志
videocodecid	Number	视频编解码器 ID
videodatarate	Number	视频码率，单位 kbps
width	Number	视频宽度，单位像素

ECMA array和strict array的区别在于strict array的length严格规定了数组的长度，因此没有结束标识符。ECMA array有数组结束符。ECMA array的length不一定是数组的真实长度，因此解析时需要判断是否到达00 00 09，而不是用length来做for循环。

***************mov*********************

mov:

Apple公司开发的一种视频格式，默认的播放器是苹果的QuickTime。具有较高的压缩比率和较完美的视频清晰度等特点，并可以保存alpha通道。mov的格式和MP4有点相似，也是Box包含Box。

avi:

优点是图像质量好，无损AVI可以保存alpha通道。缺点也不少，体积过于庞大，而且糟糕的是压缩标准不统一。

***************mkv*****************

mkv：https://www.matroska.org/index.html、https://blog.csdn.net/pakaco/article/details/54924413

Matroska 是开源多媒体容器标准。mkv只是Matroska媒体系列的其中一种文件格式。Matroska媒体定义了几种类型的文件：MKV是视频文件，它里面可能还包含有音频和字幕；MKA是单一的音频文件，但可能有多条及多种类型的音轨；MKS是字幕文件、MK3D files。

Matroska的核心设计特性：文件内的快速查找；高错误恢复率；分章节；可选字幕；可选音频轨；模块化的可扩展性；基于互联网的流传输；类似DVD提供的菜单。

mkv是万能封装器，具有良好的兼容和纠错，可带外挂字幕。这是目前比较主流的多媒体封装格式，这个封装格式可把多种不同编码的视频及 16条或以上不同格式的音频和语言不同的字幕封装到一个Mkv档内。它也是其中一种开放源代码的多媒体封装格式。

MKV是建立在EBML这种语言的基础上，所以要了解MKV格式需要先了解EBML这种语言。

EBML是一种类似于XML格式的可扩展二进制元语言，使用可变长度的整数存储，以节省空间。

EBML基本元素结构：

typedef struct {
vint ID // EBML-ID，ID标志属性类型
vint size // size of element，size为后面data部分的大小
char[size] data // data部分为ID所标识属性的实际数据
} EBML_ELEMENT;

上面可以看到ID和size的类型都是vint,vint(Unsigned Integer Values of Variable Length)可变长度无符号整型，比传统32/64位整型更加节省空间。

长度计算方法为：

长度 = 1 +整数前缀0比特的个数.

从MKV文件中简单接一段来举个例子。这是16进制表示方式：

因为每个EBML元素都是由ID、 size 、data 三部分组成，我们就按照这些来分析。

将0x42 转成2进制 为 01000010    按照上面规则  前面有1个0 所以知道ID的长度为2，也就是ID的值为 0x4282。

将0x88 转成2进制为 10001000  1为开头 长度就是1，去掉前缀1变成了00001000 ，也就是 size的值为 8.

接下来的8个字节就是data值：6D 61 74 72 6F 73 6B 61  根据上面ID值查表得知 这个EMBL 名称为DocType 也就是说data的内容是string格式，所以转成askII码 data值就是“matroska” 和后面显示的一致。

所以这个EBML元素就解析出来了

ID=0x4282；

size=8；

data=“matroska” ；

得到的信息就是 DocType = matroska。

MKV的总体结构：整体来看可分为2大部分：EBML Header和Segment。EBML元素都有自己的级别，每一个高一级的元素由若干次一级的元素组成。

EBML Header由EBMLVersion、DocType等子元素组成，包含了文件的版本、文档类型等相关信息。MKV文件的开头部分是EBML header。

Segment部分保存了媒体文件的视频和音频的实际数据，其data部分又可以分为SeekHead、Tracks、Cluster等若干子元素。MKV除了上面的EBML header，剩下的都属于Segment。

EBML   Header   EBML EBMLVersion EBMLReadVersion EBMLMaxIDLength EBMLMaxSizeLength DocType DocTypeVersion DocTypeReadVersion Segment  Segment     ID：18 53  80 67   Meta Seek Information Meta Seek Information 其实是个快速索引的信息。 他可能包含Track information, Chapters, Tags, Cues, Attachments, 这些部分的位置信息。 这些位置是在Segment中的相对位置。 Meta Seek这部分内容不一定必须有， 但是有了它能让你快速的定位到你关心的一些关键信息的位置， 而不用按照文件顺序的解析。 SeekHead Seek SeekID SeekPosition Seek SeekID SeekPosition Segment Information 包含识别文件的信息，包括 Title 、 SegmentUID,有个比较关心的文件时常信息Duration也在这一部分。 Info SegmentFilename   SegmentUID   PrevUID   NextFilename   NextUID   PrevFilename   SegmentFamily   ChapterTranslate ChapterTranslateEditionUID ChapterTranslateCodec ChapterTranslateID TimecodeScale   TimecodeScaleDenominator   Duration   DateUTC   Title   MuxingApp   WritingApp     Track Track包含了音视频的基本信息，如音视频解码器类型、视频分辨率、音频采样率等这。通过对Track部分的解析。我们就能得到音视频的基本信息。为选择相应解码器以及初始化这些解码器做好准备工作。每个 TrackEntry 代表着1条轨道信息。 Tracks TrackEntry Name TrackNumber TrackType TrackEntry Name TrackNumber TrackType Chapters Chapters Edition Entry   Clusters   所有的音视频帧数据都在这部分内装着。 1个Cluster内可能有很多个BlockGroup组成，BlockGroup内又由若干个Block组成。这些Block内就是音视频的帧数据。 1个Cluster并不一定只是音频或者视频。它是由不同的音视频BlockGroup交叉组成。因为多媒体文件中的音视频数据本来就是交叉出现的。 Cluster Timecode   BlockGroup Block BlockGroup Block ReferenceBlock BlockGroup Block Cluster Timecode   BlockGroup Block BlockGroup Block BlockGroup Block BlockGroup Block BlockDuration Cueing Data Cueing Data 这部分内容其实是关键帧的index，如果没有关键帧的index的话，在做seek、快进快退的时候是十分困难的。你要逐个包去找。之前说过flv文件中官方没有做I帧index的规定。但是在民间已经做了补充。mkv官方有对index的规范。那就是Cueing Data  Cues CuePoint CueTime CuePosition CuePoint CueTime CuePosition Attachment Attachments AttachedFile FileName FileData AttachedFile FileName FileData Tagging Tags Tag MultiTitle Language Tag MultiTitle Language

EBML Header：

Element Name	L	EBML ID	Ma	Mu	Rng	Default	T	1	2	3	4	W	Description
EBML Header
EBML	0	[1A][45][DF][A3]	*	*	-	-	m	*	*	*	*	*	Set the EBML characteristics of the data to follow. Each EBML document has to start with this.
EBMLVersion	1	[42][86]	*	-	-	1	u	*	*	*	*	*	The version of EBML parser used to create the file.
EBMLReadVersion	1	[42][F7]	*	-	-	1	u	*	*	*	*	*	The minimum EBML version a parser has to support to read this file.
EBMLMaxIDLength	1	[42][F2]	*	-	-	4	u	*	*	*	*	*	The maximum length of the IDs you'll find in this file (4 or less in Matroska).
EBMLMaxSizeLength	1	[42][F3]	*	-	-	8	u	*	*	*	*	*	The maximum length of the sizes you'll find in this file (8 or less in Matroska). This does not override the element size indicated at the beginning of an element. Elements that have an indicated size which is larger than what is allowed by EBMLMaxSizeLength shall be considered invalid.
DocType	1	[42][82]	*	-	-	matroska	s	*	*	*	*	*	A string that describes the type of document that follows this EBML header. 'matroska' in our case or 'webm' for webm files.
DocTypeVersion	1	[42][87]	*	-	-	1	u	*	*	*	*	*	The version of DocType interpreter used to create the file.
DocTypeReadVersion	1	[42][85]	*	-	-	1	u	*	*	*	*	*	The minimum DocType version an interpreter has to support to read this file.

Segment：

Element Name	L	EBML ID	Ma	Mu	Rng	Default	T	1	2	3	4	W	Description
Segment
Segment	0	[18][53][80][67]	*	*	-	-	m	*	*	*	*	*	This element contains all other top-level (level 1) elements. Typically a Matroska file is composed of 1 segment.

 

Meta Seek Information

Meta Seek Information
SeekHead	1	[11][4D][9B][74]	-	*	-	-	m	*	*	*	*	*	Contains the position of other level 1 elements.
Seek	2	[4D][BB]	*	*	-	-	m	*	*	*	*	*	Contains a single seek entry to an EBML element.
SeekID	3	[53][AB]	*	-	-	-	b	*	*	*	*	*	The binary ID corresponding to the element name.
SeekPosition	3	[53][AC]	*	-	-	-	u	*	*	*	*	*	The position of the element in the segment in octets (0 = first level 1 element).

 

Segment Information

Element Name	L	EBML ID	Ma	Mu	Rng	Default	T	1	2	3	W	Description
Segment Information
Info	1	[15][49][A9][66]	*	*	-	-	m	*	*	*	*	Contains miscellaneous general information and statistics on the file.
SegmentUID	2	[73][A4]	-	-	not 0	-	b	*	*	*		A randomly generated unique ID to identify the current segment between many others (128 bits).
SegmentFilename	2	[73][84]	-	-	-	-	8	*	*	*		A filename corresponding to this segment.
PrevUID	2	[3C][B9][23]	-	-	-	-	b	*	*	*		A unique ID to identify the previous chained segment (128 bits).
PrevFilename	2	[3C][83][AB]	-	-	-	-	8	*	*	*		An escaped filename corresponding to the previous segment.
NextUID	2	[3E][B9][23]	-	-	-	-	b	*	*	*		A unique ID to identify the next chained segment (128 bits).
NextFilename	2	[3E][83][BB]	-	-	-	-	8	*	*	*		An escaped filename corresponding to the next segment.
SegmentFamily	2	[44][44]	-	*	-	-	b	*	*	*		A randomly generated unique ID that all segments related to each other must use (128 bits).
ChapterTranslate	2	[69][24]	-	*	-	-	m	*	*	*		A tuple of corresponding ID used by chapter codecs to represent this segment.
ChapterTranslateEditionUID	3	[69][FC]	-	*	-	-	u	*	*	*		Specify an edition UID on which this correspondance applies. When not specified, it means for all editions found in the segment.
ChapterTranslateCodec	3	[69][BF]	*	-	-	-	u	*	*	*		The chapter codec using this ID (0: Matroska Script, 1: DVD-menu).
ChapterTranslateID	3	[69][A5]	*	-	-	-	b	*	*	*		The binary value used to represent this segment in the chapter codec data. The format depends on theChapProcessCodecID used.
TimecodeScale	2	[2A][D7][B1]	*	-	-	1000000	u	*	*	*	*	Timecode scale in nanoseconds (1.000.000 means all timecodes in the segment are expressed in milliseconds). When combined with TimecodeScaleDenominator the Timecode scale is given by the fraction TimecodeScale/TimecodeScaleDenominator in seconds.
TimecodeScaleDenominator	2	[2A][D7][B2]	*	-	-	1000000000	u					Timecode scale numerator, seeTimecodeScale.
Duration	2	[44][89]	-	-	> 0	-	f	*	*	*	*	Duration of the segment (based on TimecodeScale).
DateUTC	2	[44][61]	-	-	-	-	d	*	*	*	*	Date of the origin of timecode (value 0), i.e. production date.
Title	2	[7B][A9]	-	-	-	-	8	*	*	*		General name of the segment.
MuxingApp	2	[4D][80]	*	-	-	-	8	*	*	*	*	Muxing application or library ("libmatroska-0.4.3").
WritingApp	2	[57][41]	*	-	-	-	8	*	*	*	*	Writing application ("mkvmerge-0.3.3").

Track

Element Name	L	EBML ID	Ma	Mu	Rng	Default	T	1	2	3	W	Description
Track
Tracks	1	[16][54][AE][6B]	-	*	-	-	m	*	*	*	*	A top-level block of information with many tracks described.
TrackEntry	2	[AE]	*	*	-	-	m	*	*	*	*	Describes a track with all elements.
TrackNumber	3	[D7]	*	-	not 0	-	u	*	*	*	*	The track number as used in the Block Header (using more than 127 tracks is not encouraged, though the design allows an unlimited number).
TrackUID	3	[73][C5]	*	-	not 0	-	u	*	*	*	*	A unique ID to identify the Track. This should be kept the same when making a direct stream copy of the Track to another file.
TrackType	3	[83]	*	-	1-254	-	u	*	*	*	*	A set of track types coded on 8 bits (1: video, 2: audio, 3: complex, 0x10: logo, 0x11: subtitle, 0x12: buttons, 0x20: control).
FlagEnabled	3	[B9]	*	-	0-1	1	u		*	*	*	Set if the track is usable. (1 bit)
FlagDefault	3	[88]	*	-	0-1	1	u	*	*	*	*	Set if that track (audio, video or subs) SHOULD be active if no language found matches the user preference. (1 bit)
FlagForced	3	[55][AA]	*	-	0-1	0	u	*	*	*	*	Set if that track MUST be active during playback. There can be many forced track for a kind (audio, video or subs), the player should select the one which language matches the user preference or the default + forced track. Overlay MAY happen between a forced and non-forced track of the same kind. (1 bit)
FlagLacing	3	[9C]	*	-	0-1	1	u	*	*	*	*	Set if the track may contain blocks using lacing. (1 bit)
MinCache	3	[6D][E7]	*	-	-	0	u	*	*	*		The minimum number of frames a player should be able to cache during playback. If set to 0, the reference pseudo-cache system is not used.
MaxCache	3	[6D][F8]	-	-	-	-	u	*	*	*		The maximum cache size required to store referenced frames in and the current frame. 0 means no cache is needed.
DefaultDuration	3	[23][E3][83]	-	-	not 0	-	u	*	*	*	*	Number of nanoseconds (not scaled via TimecodeScale) per frame ('frame' in the Matroska sense -- one element put into a (Simple)Block).
TrackTimecodeScale	3	[23][31][4F]	*	-	> 0	1.0	f	*	*	*		DEPRECATED, DO NOT USE. The scale to apply on this track to work at normal speed in relation with other tracks (mostly used to adjust video speed when the audio length differs).
TrackOffset	3	[53][7F]	-	-	-	0	i					A value to add to the Block's Timecode. This can be used to adjust the playback offset of a track.
MaxBlockAdditionID	3	[55][EE]	*	-	-	0	u	*	*	*		The maximum value of BlockAddID. A value 0 means there is no BlockAdditions for this track.
Name	3	[53][6E]	-	-	-	-	8	*	*	*	*	A human-readable track name.
Language	3	[22][B5][9C]	-	-	-	eng	s	*	*	*	*	Specifies the language of the track in theMatroska languages form.
CodecID	3	[86]	*	-	-	-	s	*	*	*	*	An ID corresponding to the codec, see thecodec page for more info.
CodecPrivate	3	[63][A2]	-	-	-	-	b	*	*	*	*	Private data only known to the codec.
CodecName	3	[25][86][88]	-	-	-	-	8	*	*	*	*	A human-readable string specifying the codec.
AttachmentLink	3	[74][46]	-	-	not 0	-	u	*	*	*		The UID of an attachment that is used by this codec.
CodecSettings	3	[3A][96][97]	-	-	-	-	8					A string describing the encoding setting used.
CodecInfoURL	3	[3B][40][40]	-	*	-	-	s					A URL to find information about the codec used.
CodecDownloadURL	3	[26][B2][40]	-	*	-	-	s					A URL to download about the codec used.
CodecDecodeAll	3	[AA]	*	-	0-1	1	u		*	*		The codec can decode potentially damaged data (1 bit).
TrackOverlay	3	[6F][AB]	-	*	-	-	u	*	*	*		Specify that this track is an overlay track for the Track specified (in the u-integer). That means when this track has a gap (seeSilentTracks) the overlay track should be used instead. The order of multiple TrackOverlay matters, the first one is the one that should be used. If not found it should be the second, etc.
TrackTranslate	3	[66][24]	-	*	-	-	m	*	*	*		The track identification for the given Chapter Codec.
TrackTranslateEditionUID	4	[66][FC]	-	*	-	-	u	*	*	*		Specify an edition UID on which this translation applies. When not specified, it means for all editions found in the segment.
TrackTranslateCodec	4	[66][BF]	*	-	-	-	u	*	*	*		The chapter codec using this ID (0: Matroska Script, 1: DVD-menu).
TrackTranslateTrackID	4	[66][A5]	*	-	-	-	b	*	*	*		The binary value used to represent this track in the chapter codec data. The format depends on the ChapProcessCodecID used.
Video	3	[E0]	-	-	-	-	m	*	*	*	*	Video settings.
FlagInterlaced	4	[9A]	*	-	0-1	0	u		*	*	*	Set if the video is interlaced. (1 bit)
StereoMode	4	[53][B8]	-	-	-	0	u			*	*	Stereo-3D video mode (0: mono, 1: side by side (left eye is first), 2: top-bottom (right eye is first), 3: top-bottom (left eye is first), 4: checkboard (right is first), 5: checkboard (left is first), 6: row interleaved (right is first), 7: row interleaved (left is first), 8: column interleaved (right is first), 9: column interleaved (left is first), 10: anaglyph (cyan/red), 11: side by side (right eye is first), 12: anaglyph (green/magenta), 13 both eyes laced in one Block (left eye is first), 14 both eyes laced in one Block (right eye is first)) . There are some more details on 3D support in the Specification Notes.
OldStereoMode	4	[53][B9]	-	-	-	-	u					DEPRECATED, DO NOT USE. Bogus StereoMode value used in old versions of libmatroska. (0: mono, 1: right eye, 2: left eye, 3: both eyes).
PixelWidth	4	[B0]	*	-	not 0	-	u	*	*	*	*	Width of the encoded video frames in pixels.
PixelHeight	4	[BA]	*	-	not 0	-	u	*	*	*	*	Height of the encoded video frames in pixels.
PixelCropBottom	4	[54][AA]	-	-	-	0	u	*	*	*	*	The number of video pixels to remove at the bottom of the image (for HDTV content).
PixelCropTop	4	[54][BB]	-	-	-	0	u	*	*	*	*	The number of video pixels to remove at the top of the image.
PixelCropLeft	4	[54][CC]	-	-	-	0	u	*	*	*	*	The number of video pixels to remove on the left of the image.
PixelCropRight	4	[54][DD]	-	-	-	0	u	*	*	*	*	The number of video pixels to remove on the right of the image.
DisplayWidth	4	[54][B0]	-	-	not 0	PixelWidth	u	*	*	*	*	Width of the video frames to display. The default value is only valid when DisplayUnit is 0.
DisplayHeight	4	[54][BA]	-	-	not 0	PixelHeight	u	*	*	*	*	Height of the video frames to display. The default value is only valid when DisplayUnit is 0.
DisplayUnit	4	[54][B2]	-	-	-	0	u	*	*	*	*	How DisplayWidth & DisplayHeight should be interpreted (0: pixels, 1: centimeters, 2: inches, 3: Display Aspect Ratio).
AspectRatioType	4	[54][B3]	-	-	-	0	u	*	*	*	*	Specify the possible modifications to the aspect ratio (0: free resizing, 1: keep aspect ratio, 2: fixed).
ColourSpace	4	[2E][B5][24]	-	-	-	-	b	*	*	*		Same value as in AVI (32 bits).
GammaValue	4	[2F][B5][23]	-	-	> 0	-	f					Gamma Value.
FrameRate	4	[23][83][E3]	-	-	> 0	-	f					Number of frames per second. Informationalonly.
Audio	3	[E1]	-	-	-	-	m	*	*	*	*	Audio settings.
SamplingFrequency	4	[B5]	*	-	> 0	8000.0	f	*	*	*	*	Sampling frequency in Hz.
OutputSamplingFrequency	4	[78][B5]	-	-	> 0	Sampling Frequency	f	*	*	*	*	Real output sampling frequency in Hz (used for SBR techniques).
Channels	4	[9F]	*	-	not 0	1	u	*	*	*	*	Numbers of channels in the track.
ChannelPositions	4	[7D][7B]	-	-	-	-	b					Table of horizontal angles for each successive channel, see appendix.
BitDepth	4	[62][64]	-	-	not 0	-	u	*	*	*	*	Bits per sample, mostly used for PCM.
TrackOperation	3	[E2]	-	-	-	-	m			*		Operation that needs to be applied on tracks to create this virtual track. For more detailslook at the Specification Notes on the subject.
TrackCombinePlanes	4	[E3]	-	-	-	-	m			*		Contains the list of all video plane tracks that need to be combined to create this 3D track
TrackPlane	5	[E4]	*	*	-	-	m			*		Contains a video plane track that need to be combined to create this 3D track
TrackPlaneUID	6	[E5]	*	-	not 0	-	u			*		The trackUID number of the track representing the plane.
TrackPlaneType	6	[E6]	*	-	-	-	u			*		The kind of plane this track corresponds to (0: left eye, 1: right eye, 2: background).
TrackJoinBlocks	4	[E9]	-	-	-	-	m			*		Contains the list of all tracks whose Blocks need to be combined to create this virtual track
TrackJoinUID	5	[ED]	*	*	not 0	-	u			*		The trackUID number of a track whose blocks are used to create this virtual track.
TrickTrackUID	3	[C0]	-	-	-	-	u					DivX trick track extenstions
TrickTrackSegmentUID	3	[C1]	-	-	-	-	b					DivX trick track extenstions
TrickTrackFlag	3	[C6]	-	-	-	0	u					DivX trick track extenstions
TrickMasterTrackUID	3	[C7]	-	-	-	-	u					DivX trick track extenstions
TrickMasterTrackSegmentUID	3	[C4]	-	-	-	-	b					DivX trick track extenstions
ContentEncodings	3	[6D][80]	-	-	-	-	m	*	*	*		Settings for several content encoding mechanisms like compression or encryption.
ContentEncoding	4	[62][40]	*	*	-	-	m	*	*	*		Settings for one content encoding like compression or encryption.
ContentEncodingOrder	5	[50][31]	*	-	-	0	u	*	*	*		Tells when this modification was used during encoding/muxing starting with 0 and counting upwards. The decoder/demuxer has to start with the highest order number it finds and work its way down. This value has to be unique over all ContentEncodingOrder elements in the segment.
ContentEncodingScope	5	[50][32]	*	-	not 0	1	u	*	*	*		A bit field that describes which elements have been modified in this way. Values (big endian) can be OR'ed. Possible values: 1 - all frame contents, 2 - the track's private data, 4 - the next ContentEncoding (next ContentEncodingOrder. Either the data inside ContentCompression and/or ContentEncryption)
ContentEncodingType	5	[50][33]	*	-	-	0	u	*	*	*		A value describing what kind of transformation has been done. Possible values: 0 - compression, 1 - encryption
ContentCompression	5	[50][34]	-	-	-	-	m	*	*	*		Settings describing the compression used. Must be present if the value of ContentEncodingType is 0 and absent otherwise. Each block must be decompressable even if no previous block is available in order not to prevent seeking.
ContentCompAlgo	6	[42][54]	*	-	-	0	u	*	*	*		The compression algorithm used. Algorithms that have been specified so far are: 0 - zlib, 1 - bzlib, 2 - lzo1x 3 - Header Stripping
ContentCompSettings	6	[42][55]	-	-	-	-	b	*	*	*		Settings that might be needed by the decompressor. For Header Stripping (ContentCompAlgo=3), the bytes that were removed from the beggining of each frames of the track.
ContentEncryption	5	[50][35]	-	-	-	-	m	*	*	*		Settings describing the encryption used. Must be present if the value of ContentEncodingType is 1 and absent otherwise.
ContentEncAlgo	6	[47][E1]	-	-	-	0	u	*	*	*		The encryption algorithm used. The value '0' means that the contents have not been encrypted but only signed. Predefined values: 1 - DES, 2 - 3DES, 3 - Twofish, 4 - Blowfish, 5 - AES
ContentEncKeyID	6	[47][E2]	-	-	-	-	b	*	*	*		For public key algorithms this is the ID of the public key the the data was encrypted with.
ContentSignature	6	[47][E3]	-	-	-	-	b	*	*	*		A cryptographic signature of the contents.
ContentSigKeyID	6	[47][E4]	-	-	-	-	b	*	*	*		This is the ID of the private key the data was signed with.
ContentSigAlgo	6	[47][E5]	-	-	-	0	u	*	*	*		The algorithm used for the signature. A value of '0' means that the contents have not been signed but only encrypted. Predefined values: 1 - RSA
ContentSigHashAlgo	6	[47][E6]	-	-	-	0	u	*	*	*		The hash algorithm used for the signature. A value of '0' means that the contents have not been signed but only encrypted. Predefined values: 1 - SHA1-160 2 - MD5

Cluster

Element Name	L	EBML ID	Ma	Mu	Rng	Default	T	1	2	3	W	Description
Cluster
Cluster	1	[1F][43][B6][75]	-	*	-	-	m	*	*	*	*	The lower level element containing the (monolithic) Block structure.
Timecode	2	[E7]	*	-	-	-	u	*	*	*	*	Absolute timecode of the cluster (based on TimecodeScale).
SilentTracks	2	[58][54]	-	-	-	-	m	*	*	*		The list of tracks that are not used in that part of the stream. It is useful when using overlay tracks on seeking. Then you should decide what track to use.
SilentTrackNumber	3	[58][D7]	-	*	-	-	u	*	*	*		One of the track number that are not used from now on in the stream. It could change later if not specified as silent in a further Cluster.
Position	2	[A7]	-	-	-	-	u	*	*	*		The Position of the Cluster in the segment (0 in live broadcast streams). It might help to resynchronise offset on damaged streams.
PrevSize	2	[AB]	-	-	-	-	u	*	*	*	*	Size of the previous Cluster, in octets. Can be useful for backward playing.
SimpleBlock	2	[A3]	-	*	-	-	b		*	*	*	Similar to Block but without all the extra information, mostly used to reduced overhead when no extra feature is needed. (see SimpleBlock Structure)
BlockGroup	2	[A0]	-	*	-	-	m	*	*	*	*	Basic container of information containing a single Block or BlockVirtual, and information specific to that Block/VirtualBlock.
Block	3	[A1]	*	-	-	-	b	*	*	*	*	Block containing the actual data to be rendered and a timecode relative to the Cluster Timecode. (see Block Structure)
BlockVirtual	3	[A2]	-	-	-	-	b					A Block with no data. It must be stored in the stream at the place the real Block should be in display order. (see Block Virtual)
BlockAdditions	3	[75][A1]	-	-	-	-	m	*	*	*		Contain additional blocks to complete the main one. An EBML parser that has no knowledge of the Block structure could still see and use/skip these data.
BlockMore	4	[A6]	*	*	-	-	m	*	*	*		Contain the BlockAdditional and some parameters.
BlockAddID	5	[EE]	*	-	not 0	1	u	*	*	*		An ID to identify the BlockAdditional level.
BlockAdditional	5	[A5]	*	-	-	-	b	*	*	*		Interpreted by the codec as it wishes (using the BlockAddID).
BlockDuration	3	[9B]	-	-	-	TrackDuration	u	*	*	*	*	The duration of the Block (based on TimecodeScale). This element is mandatory when DefaultDuration is set for the track (but can be omitted as other default values). When not written and with no DefaultDuration, the value is assumed to be the difference between the timecode of this Block and the timecode of the next Block in "display" order (not coding order). This element can be useful at the end of a Track (as there is not other Block available), or when there is a break in a track like for subtitle tracks. When set to 0 that means the frame is not a keyframe.
ReferencePriority	3	[FA]	*	-	-	0	u	*	*	*		This frame is referenced and has the specified cache priority. In cache only a frame of the same or higher priority can replace this frame. A value of 0 means the frame is not referenced.
ReferenceBlock	3	[FB]	-	*	-	-	i	*	*	*	*	Timecode of another frame used as a reference (ie: B or P frame). The timecode is relative to the block it's attached to.
ReferenceVirtual	3	[FD]	-	-	-	-	i					Relative position of the data that should be in position of the virtual block.
CodecState	3	[A4]	-	-	-	-	b		*	*		The new codec state to use. Data interpretation is private to the codec. This information should always be referenced by a seek entry.
Slices	3	[8E]	-	-	-	-	m	*	*	*	*	Contains slices description.
TimeSlice	4	[E8]	-	*	-	-	m	*	*	*	*	Contains extra time information about the data contained in the Block. While there are a few files in the wild with this element, it is no longer in use and has been deprecated. Being able to interpret this element is not required for playback.
LaceNumber	5	[CC]	-	-	-	0	u	*	*	*	*	The reverse number of the frame in the lace (0 is the last frame, 1 is the next to last, etc). While there are a few files in the wild with this element, it is no longer in use and has been deprecated. Being able to interpret this element is not required for playback.
FrameNumber	5	[CD]	-	-	-	0	u					The number of the frame to generate from this lace with this delay (allow you to generate many frames from the same Block/Frame).
BlockAdditionID	5	[CB]	-	-	-	0	u					The ID of the BlockAdditional element (0 is the main Block).
Delay	5	[CE]	-	-	-	0	u					The (scaled) delay to apply to the element.
SliceDuration	5	[CF]	-	-	-	0	u					The (scaled) duration to apply to the element.
ReferenceFrame	3	[C8]	-	-	-	-	m					DivX trick track extenstions
ReferenceOffset	4	[C9]	*	-	-	-	u					DivX trick track extenstions
ReferenceTimeCode	4	[CA]	*	-	-	-	u					DivX trick track extenstions
EncryptedBlock	2	[AF]	-	*	-	-	b					Similar to SimpleBlock but the data inside the Block are Transformed (encrypt and/or signed). (see EncryptedBlock Structure)

Cueing Data

Cueing Data
Cues	1	[1C][53][BB][6B]	-	-	-	-	m	*	*	*	*	A top-level element to speed seeking access. All entries are local to the segment. Should be mandatory for non "live" streams.
CuePoint	2	[BB]	*	*	-	-	m	*	*	*	*	Contains all information relative to a seek point in the segment.
CueTime	3	[B3]	*	-	-	-	u	*	*	*	*	Absolute timecode according to the segment time base.
CueTrackPositions	3	[B7]	*	*	-	-	m	*	*	*	*	Contain positions for different tracks corresponding to the timecode.
CueTrack	4	[F7]	*	-	not 0	-	u	*	*	*	*	The track for which a position is given.
CueClusterPosition	4	[F1]	*	-	-	-	u	*	*	*	*	The position of the Cluster containing the required Block.
CueRelativePosition	4	[F0]	-	-	-	-	u					The relative position of the referenced block inside the cluster with 0 being the first possible position for an element inside that cluster.
CueDuration	4	[B2]	-	-	-	-	u					The duration of the block according to the segment time base. If missing the track's DefaultDuration does not apply and no duration information is available in terms of the cues.
CueBlockNumber	4	[53][78]	-	-	not 0	1	u	*	*	*	*	Number of the Block in the specified Cluster.
CueCodecState	4	[EA]	-	-	-	0	u		*	*		The position of the Codec State corresponding to this Cue element. 0 means that the data is taken from the initial Track Entry.
CueReference	4	[DB]	-	*	-	-	m		*	*		The Clusters containing the required referenced Blocks.
CueRefTime	5	[96]	*	-	-	-	u		*	*		Timecode of the referenced Block.

***********************************TS********************************************

TS：

MPEG-TS一种标准数据容器格式，传输与存储音视频、节目与系统信息协议数据，应用于数字广播系统，譬如DVB,ATSC与IPTV。传输流在MPEG-2第1部分系统中规定，正式称为ISO / IEC标准13818-1或ITU-T建议书[1]。

MPEG2/DVB是一种多媒体传输、复用技术，在数字电视广播中可提供数百个节目频道。复用的含义是，可以同时传输多层节目。

MPEG2-TS从视频的任意位置都可以独立解码。

ts 文件为传输流文件，视频编码主要格式为 H264/MPEG4，音频为 AAC/MP3。

ts 文件分为三层：

• ts 层：Transport Stream，是在 pes 层的基础上加入数据流的识别和传输必须的信息。
• pes 层： Packet Elemental Stream，是在音视频数据上加了时间戳等对数据帧的说明信息。
• es 层：Elementary Stream，即音视频数据。是经过编码的数据。

ts header：

ts包大小固定为188字节，ts层分为三个部分：ts header、adaptation field、payload。ts header固定4个字节；adaptation field可能存在也可能不存在，主要作用是给不足188字节的数据做填充；payload是pes数据。

sync_byte	8bit	同步字节，固定为0x47
transport_error_indicator	1bit	传输错误指示符，表明在ts头的adapt域后由一个无用字节，通常都为0，这个字节算在adapt域长度内
payload_unit_start_indicator	1bit	负载单元起始标示符，一个完整的数据包开始时标记为1
transport_priority	1bit	传输优先级，0为低优先级，1为高优先级，通常取0
pid	13bit	pid值(Packet ID号码，唯一的号码对应不同的包)
transport_scrambling_control	2bit	传输加扰控制，00表示未加密
adaptation_field_control	2bit	是否包含自适应区，‘00’保留；‘01’为无自适应域，仅含有效负载；‘10’为仅含自适应域，无有效负载；‘11’为同时带有自适应域和有效负载。
continuity_counter	4bit	递增计数器，从0-f，起始值不一定取0，但必须是连续的

ts层的内容是通过PID值来标识的，主要内容包括：PAT表、PMT表、音频流、视频流。解析ts流要先找到PAT表，只要找到PAT就可以找到PMT，然后就可以找到音视频流了。PAT表的PID值固定为0。PAT表和PMT表需要定期插入ts流，因为用户随时可能加入ts流，这个间隔比较小，通常每隔几个视频帧就要加入PAT和PMT。PAT和PMT表是必须的，还可以加入其它表如SDT（业务描述表）等，不过hls流只要有PAT和PMT就可以播放了。

• PAT表：他主要的作用就是指明了PMT表的PID值。
• PMT表：他主要的作用就是指明了音视频流的PID值。
• 音频流/视频流：承载音视频内容。

表	PID 值
PAT	0x0000
CAT	0x0001
TSDT	0x0002
EIT,ST	0x0012
RST,ST	0x0013
TDT,TOT,ST	0x0014

adaption

adaptation_field_length	1B	自适应域长度，后面的字节数
flag	1B	取0x50表示包含PCR或0x40表示不包含PCR
PCR	5B	Program Clock Reference，节目时钟参考，用于恢复出与编码端一致的系统时序时钟STC（System Time Clock）。
stuffing_bytes	xB	填充字节，取值0xff

自适应区的长度要包含传输错误指示符标识的一个字节。pcr是节目时钟参考，pcr、dts、pts都是对同一个系统时钟的采样值，pcr是递增的，因此可以将其设置为dts值，音频数据不需要pcr。如果没有字段，ipad是可以播放的，但vlc无法播放。打包ts流时PAT和PMT表是没有adaptation field的，不够的长度直接补0xff即可。视频流和音频流都需要加adaptation field，通常加在一个帧的第一个ts包和最后一个ts包里，中间的ts包不加。

PAT格式(Program Association Table，节目关联表)

PAT表定义了当前TS流中所有的节目，其PID为0x0000，它是PSI的根节点，要查寻找节目必须从PAT表开始查找。

table_id	8b	PAT表固定为0x00
section_syntax_indicator	1b	固定为1
zero	1b	固定为0
reserved	2b	固定为11
section_length	12b	后面数据的长度
transport_stream_id	16b	传输流ID，固定为0x0001
reserved	2b	固定为11
version_number	5b	版本号，固定为00000，如果PAT有变化则版本号加1
current_next_indicator	1b	固定为1，表示这个PAT表可以用，如果为0则要等待下一个PAT表
section_number	8b	固定为0x00
last_section_number	8b	固定为0x00
开始循环
program_number	16b	节目号为0x0000时表示这是NIT，节目号为0x0001时,表示这是PMT
reserved	3b	固定为111
PID	13b	节目号对应内容的PID值
结束循环
CRC32	32b	前面数据的CRC32校验码

PMT格式( Program Map Table，节目映射表 )

table_id	8b	PMT表取值随意，0x02
section_syntax_indicator	1b	固定为1
zero	1b	固定为0
reserved	2b	固定为11
section_length	12b	后面数据的长度
program_number	16b	频道号码，表示当前的PMT关联到的频道，取值0x0001
reserved	2b	固定为11
version_number	5b	版本号，固定为00000，如果PAT有变化则版本号加1
current_next_indicator	1b	固定为1
section_number	8b	固定为0x00
last_section_number	8b	固定为0x00
reserved	3b	固定为111
PCR_PID	13b	PCR(节目参考时钟)所在TS分组的PID，指定为视频PID
reserved	4b	固定为1111
program_info_length	12b	节目描述信息，指定为0x000表示没有
开始循环
stream_type	8b	流类型，标志是Video还是Audio还是其他数据，h.264编码对应0x1b，aac编码对应0x0f，mp3编码对应0x03
reserved	3b	固定为111
elementary_PID	13b	与stream_type对应的PID
reserved	4b	固定为1111
ES_info_length	12b	描述信息，指定为0x000表示没有
结束循环
CRC32	32b	前面数据的CRC32校验码

pes层是在每一个视频/音频帧上加入了时间戳等信息，pes包内容很多，我们只留下最常用的。  PES层主要分为三个部分PES header（固定6个字节），optional header（可选），和pes payload（也就是ES层了）。

pes start code	3B	开始码，固定为0x000001
stream id	1B	音频取值（0xc0-0xdf），通常为0xc0 视频取值（0xe0-0xef），通常为0xe0
pes packet length	2B	后面pes数据的长度，0表示长度不限制， 只有视频数据长度会超过0xffff
flag	1B	通常取值0x80，表示数据不加密、无优先级、备份的数据
flag	1B	取值0x80表示只含有pts，取值0xc0表示含有pts和dts
pes data length	1B	后面数据的长度，取值5或10
pts	5B	33bit值
dts	5B	33bit值

packet_start_code_prefix: 固定0x000001
stream_id: 指定基本流的类型与编号
PES_packet_length: 表明在该字段后面还有多少个字节。0表明PES包的长度未指示也未限定，对于当前的PES包而言。
PES_scrambling_control: PES包的有效载荷的加扰方式。
PES_priority: 多路复用器可以通过该位最优化基本流内的数据。
data_alignment_indicator:
copyright: PES包中的有效载荷确定具有版权的话，就置位。
orginal_or_copy: 置位时，表明PES包的有效载荷的内容是原始的，非复制的。
PTS_DTS_flags: 2比特字节，表明PTS/DTC的存在情况。
ES_rate_flag: 置位，表明后面存在ES_rate字段。
PES_header_data_length: 表明该PES包头中由任选字段与填充字节所占据的字节总数。任选字段譬如ES_rate。
marker_bit: 为1的比特位。
PTS: 对于音频而言，如果该PES包中存在PTS字段，则有效负载中肯定有新的音频存取单元（access unit），该PTS对应于该音频存取单元。新的音频存取单元指的是一帧新的音频帧。对于视频而言，一般情况下，跟音频一样。
DTS: 解码时间标志，当前CEDARX解码器未用到DTS。
ES_rate: 基本流速率，指定系统目标解码器接收PES包字节的速率。 

ES---Elementary  Streams,是经过编码的视频流或音频流。打包 ES 层数据时 pes 头和 es 数据之间要加入一个 type=9 的 nalu，关键帧 slice 前必须要加入 type=7 和 type=8 的 nalu，而且是紧邻的。

 

***********************M3U8********************

M3U8:

可以说是索引文件，  是HLS流媒体协议的基础，一般用在HLS直播中。HLS 是新一代流媒体传输协议，其基本实现原理为将一个大的媒体文件进行分片，将该分片文件资源路径记录于 m3u8 文件（即 playlist）内。

「m3u」和「m3u8」文件都是苹果公司bai使用的HTTP Live Streaming（HLS） 协议格式的基础。M3U它是一种播放多媒体列表的文件格式，而m3u8 是使用 UTF-8 编码的 M3U。m3u8格式特点是带有一个目录信息或文件。m3u8说白了只是一个播放列表，里面存的是一堆视频片段的URL，手上的浏览器缓存电影就是m3u8的格式，需要进行转码后才能播放。m3u8记录一个索引纯文本的文件，打开播放时并不是去播放它，而是根据索引找到对应的网络地址在线播放，m3u8的好处就是可以做多码率适配，根据不同的网络带宽，客户端自动选择一个适合的码率进行播放，保证视频的流畅度。

M3U8 文件实质是一个播放列表（playlist），其可能是一个媒体播放列表（Media Playlist），或者是一个主列表（Master Playlist）。

当 M3U8 文件作为媒体播放列表（Media Playlist）时，其内部信息记录的是一系列媒体片段资源，顺序播放该片段资源，即可完整展示多媒体资源。

#EXTM3U
#EXT-X-TARGETDURATION:10

#EXTINF:9.009,
http://media.example.com/first.ts
#EXTINF:9.009,
http://media.example.com/second.ts
#EXTINF:3.003,
http://media.example.com/third.ts
#EXT-X-ENDLIST

当 M3U8 作为主播放列表（Master Playlist）时，其内部提供的是同一份媒体资源的多份流列表资源。

#EXTM3U
#EXT-X-STREAM-INF:BANDWIDTH=150000,RESOLUTION=416x234,CODECS="avc1.42e00a,mp4a.40.2"
http://example.com/low/index.m3u8
#EXT-X-STREAM-INF:BANDWIDTH=240000,RESOLUTION=416x234,CODECS="avc1.42e00a,mp4a.40.2"
http://example.com/lo_mid/index.m3u8
#EXT-X-STREAM-INF:BANDWIDTH=440000,RESOLUTION=416x234,CODECS="avc1.42e00a,mp4a.40.2"
http://example.com/hi_mid/index.m3u8
#EXT-X-STREAM-INF:BANDWIDTH=640000,RESOLUTION=640x360,CODECS="avc1.42e00a,mp4a.40.2"
http://example.com/high/index.m3u8
#EXT-X-STREAM-INF:BANDWIDTH=64000,CODECS="mp4a.40.5"
http://example.com/audio/index.m3u8
#EXT-X-ENDLIST

BANDWIDTH 指定码率
RESOLUTION 分辨率
PROGRAM-ID 唯一ID
CODECS 指定流的编码类型

 常用字段解析：

#EXTM3U                    M3U8文件头，必须放在第一行;

#EXT-X-MEDIA-SEQUENCE      第一个TS分片的序列号，一般情况下是0，但是在直播场景下，这个序列号标
识直播段的起始位置; #EXT-X-MEDIA-SEQUENCE:0

#EXT-X-TARGETDURATION      每个分片TS的最大的时长;   #EXT-X-TARGETDURATION:10     每个分
片的最大时长是 10s

#EXT-X-ALLOW-CACHE         是否允许cache;            默认情况下是YES

#EXT-X-ENDLIST             M3U8文件结束符；如果结尾不存在 #EXT-X-ENDLIST，那么一定是直播。

#EXTINF                    extra info，分片TS的信息，如时长，带宽等；一般情况下是    
#EXTINF:,[