MP4解析
1. 概述
流行的文件格式背后都有大公司的支持。FLV得益于ADOBE公司推动的网络视频分享风潮，而AVI则是MICROSOFT首创的RIFF即视频和音频交 织在一起同步播放。 3GP/MP4是APPLE提出并得到ISO标准支持作为NOKIA等手机的默认视频格式。3GP是MP4格式在手机上的简化版。MP4的codec组合 一般是mpeg4 + AAC, 3GP则按版本演进分为3gpp r5(h.263/mpeg4 + AMR-NB/AMR WB), 3gpp r6(增加h.264视频和aacPlus音频支持)。
有人会把MP4和MPEG4搞混， 前者是文件容器(container)，后者是视频编码格式， 容器的作用是把压缩编码
后的视频和音频数据尽可能紧凑的排布，就好像阿甘的巧克力盒子，你并不知道盒子里有什么， 但你可以按照
既定的线索解开文件，取出你需要的数据。
文件格式一般包括以下三要素：
header: 标记文件类型，音视频码流的基本属性信息
index: 索引表，每个frame有对应的offset,size,timestamp.
stream: 真正的音视频流数据。
任何文件格式都应该有以上3要素。 当然AVI视频没有索引也能播放，但不能拖放seek，需要自己重建索引。解
析器(demuxer)根据frame_id找到其在文件中的offset和size,然后读取出来解码并播放。
2. 文件格式分析
下面来分析一下3GP/MP4文件格式。APPLE的格式有2个特点，1. 排布紧凑几乎没有冗余数据(AVI则有很多junk
数据)，2.音视频码流数据可随意存放而不需按时间顺序排布。
3gp文件由一系列的box(atom)组成。每个box的结构都是4字节的size,4字节的type, 还有一些data数据。用
mp4info查看3gp文件的数据排布如下图：
如上图, ftyp是表示文件的版本信息， mdat存放文字，音视频等数据。你可能要问，这些音视频数据怎么找
到呢？ 是通过moov box里的子box trak，里面存放着音视频的属性描述以及每个sample的索引。
3. 关于sample atoms
video和audio的码流属性(如视频width/height,codec id, 音频采样率声道数等)存放在stsd box里； 下面
着重介绍MP4高效压缩的精华：stts,stss,stsc,stsz,stco五个box。对比AVI的索引表是每个sample都有对应的
id,flag,offset,size，3GP的高效索引方式可以把AVI转码成同码率的MP4后，文件size减小成原来的20-30%!
1. stts atom(time to sample atoms，见quicktime format 文档图2-28 标准文档点击下载): 存储了sample
的时间信息。stts能让很方便的根据timestamp找到对应的sample，或者获取某个sample对应的timestamp. stts
table记录着有相同duration的sample的数量count和时长dutation。
2. stss atom(sync sample atom，见文档图2-31): 存储了每个关键帧的sample id。 stss能让你很方便的找到
当前帧最近的关键帧。
3. stsc atom(sample to chunk atom): sample存放在chunk里为了允许优化的数据读取。比如音频sample size
都很小（amr-nb sample size为32字节）， 每次读取一个sample开销太大， 可一次性读所在chunk里一堆
sample。
4. stsz atom(sample size atom): stsz可以描述每个sample的size.
5. stco atom(chunk offset atoms): stco描述了每个chunk在文件中的绝对偏移位置。该offset可以是32位的
也可以是64位的，后者用来支持处理超大文件。
4 .使用sample atoms来处理播放流程
- 查找sample
1．确定时间，相对于媒体时间坐标系统
2．检查time-to-sample atom来确定给定时间的sample序号。
3．检查sample-to-chunk atom来发现对应该sample的chunk。
4．从chunk offset atom中提取该trunk的偏移量。
5．利用sample size atom找到sample在trunk内的偏移量和sample的大小。
例如，如果要找第1秒的视频数据，过程如下：
1． 第1秒的视频数据相对于此电影的时间为600
2． 检查time-to-sample atom，得出每个sample的duration是40，从而得出需要寻找第600/40 = 15 + 1 = 16个sample
3． 检查sample-to-chunk atom，得到该sample属于第5个chunk的第一个sample，该chunk共有4个sample
4． 检查chunk offset atom找到第5个trunk的偏移量是20472
5． 由于第16个sample是第5个trunk的第一个sample，所以不用检查sample size atom，trunk的偏移量即是该sample的偏移量20472。如果是这个trunk的第二个sample，则从sample size atom中找到该trunk的前一个sample的大小，然后加上偏移量即可得到实际位置。
6． 得到位置后，即可取出相应数据进行解码，播放
- 查找关键帧
查找过程与查找sample的过程非常类似，只是需要利用sync sample atom来确定key frame的sample序号
确定给定时间的sample序号
检查sync sample atom来发现这个sample序号之后的key frame
检查sample-to-chunk atom来发现对应该sample的chunk
从chunk offset atom中提取该trunk的偏移量
利用sample size atom找到sample在trunk内的偏移量和sample的大小
5 .3GP/MP4相关资源
开源的3GP/MP4解析器： ffmpeg, GPAC, helix, google opencore等
--------------------------------------------------
MP4文件格式的解析，以及MP4文件的分割算法
mp4应该算是一种比较复杂的媒体格式了，起源于QuickTime。以前研究的时候就花了一番的功夫，尤其是如何把它完美的融入到视频点播应用中，更是费尽了心思，主要问题是处理mp4文件庞大的“媒体头”。当然，流媒体点播也可以采用flv格式来做，flv也可以封装H.264视频数据的，不过Adobe却不推荐这么做，人家说毕竟mp4才是H.264最佳的存储格式嘛。
这几天整理并重构了一下mp4文件的解析程序，融合了分解与合并的程序，以前是c语言写的，应用在linux上运行的服务器程序上，现在改成c++，方便我在其他项目中使用它，至于用不用移植一份c#的，暂时用不到，等有必要了再说吧。这篇文章先简单介绍一下mp4文件的大体结构，以及它的分割算法，之后再写文章介绍如何把mp4完美应用在点播项目中。
一、MP4格式分析
MP4(MPEG-4 Part 14)是一种常见的多媒体容器格式，它是在“ISO/IEC 14496-14”标准文件中定义的，属于MPEG-4的一部分，是“ISO/IEC 14496-12(MPEG-4 Part 12 ISO base media file format)”标准中所定义的媒体格式的一种实现，后者定义了一种通用的媒体文件结构标准。MP4是一种描述较为全面的容器格式，被认为可以在其中嵌入任何形式的数据，各种编码的视频、音频等都不在话下，不过我们常见的大部分的MP4文件存放的AVC(H.264)或MPEG-4(Part 2)编码的视频和AAC编码的音频。MP4格式的官方文件后缀名是“.mp4”，还有其他的以mp4为基础进行的扩展或者是缩水版本的格式，包括：M4V, 3GP, F4V等。
mp4是由一个个“box”组成的，大box中存放小box，一级嵌套一级来存放媒体信息。box的基本结构是：
其中，size指明了整个box所占用的大小，包括header部分。如果box很大(例如存放具体视频数据的mdat box)，超过了uint32的最大数值，size就被设置为1，并用接下来的8位uint64来存放大小。
一个mp4文件有可能包含非常多的box，在很大程度上增加了解析的复杂性，这个网页上http://mp4ra.org/atoms.html记录了一些当前注册过的box类型。看到这么多box，如果要全部支持，一个个解析，怕是头都要爆了。还好，大部分mp4文件没有那么多的box类型，下图就是一个简化了的，常见的mp4文件结构：
一般来说，解析媒体文件，最关心的部分是视频文件的宽高、时长、码率、编码格式、帧列表、关键帧列表，以及所对应的时戳和在文件中的位置，这些信息，在mp4中，是以特定的算法分开存放在stbl box下属的几个box中的，需要解析stbl下面所有的box，来还原媒体信息。下表是对于以上几个重要的box存放信息的说明：
看吧，要获取到mp4文件的帧列表，还挺不容易的，需要一层层解析，然后综合stts stsc stsz stss stco等这几个box的信息，才能还原出帧列表，每一帧的时戳和偏移量。而且，你要照顾可能出现或者可能不出现的那些box。。。可以看的出来，mp4把帧sample进行了分组，也就是chunk，需要间接的通过chunk来描述帧，这样做的理由是可以压缩存储空间，缩小媒体信息所占用的文件大小。这里面，stsc box的解析相对来说比较复杂，它用了一种巧妙的方式来说明sample和chunk的映射关系，特别介绍一下。
这是stsc box的结构，前几项的意义就不解释了，可以看到stsc box里每个entry结构体都存有三项数据，它们的意思是：“从first_chunk这个chunk序号开始，每个chunk都有samples_per_chunk个数的sample，而且每个sample都可以通过sample_description_index这个索引，在stsd box中找到描述信息”。也就是说，每个entry结构体描述的是一组chunk，它们有相同的特点，那就是每个chunk包含samples_per_chunk个sample，好，那你要问，这组相同特点的chunk有多少个？请通过下一个entry结构体来推算，用下一个entry的first_chunk减去本次的first_chunk，就得到了这组chunk的个数。最后一个entry结构体则表明从该first_chunk到最后一个chunk，每个chunk都有sampls_per_chunk个sample。很拗口吧，不过，就是这个意思:)。由于这种算法无法得知文件所有chunk的个数，所以你必须借助于stco或co64。直接上代码可能会清楚些：
1. 首先直接分析entry
2. 然后，通过stco或co64获知chunk总个数之后，开始还原映射表
读出stsc之后，就可以综合stbl下的所有box，推算出视频和音频帧列表，时戳和偏移量等数据。下面截图展示获取到的关键帧列表：
有了关键帧列表之后，就可以继续我们一下个题目，就是mp4文件的分割。实现mp4的分割，是把mp4应用到点播系统中最关键的技术环节，做不到这个，就无法实现点播播放mp4影片的“拖动”。
二、MP4文件的分割算法
所谓“分割”，就是把大文件切成小文件，要实现mp4的分割，
- 首先，需要获取到关键帧列表
- 然后，选择要分割的时间段（比如从关键帧开始）
- 接着，重新生成moov box（注意所有相关的box 以及 box size都需要改变）
- 最后，拷贝对应的数据，生成新文件
第一点，上面已经介绍了，第二点，只需要遍历关键帧列表，就能找到离你想要分割的时间段最接近的关键帧，第四点就是“copy-paste”的工作，关键在于第三点。因为这一步涉及到stbl下的所有box，必须重新生成entrys，同样的，其他的box都还好，只需要保留关键帧所对应的sample和chunk，其余的删掉即可，只是stsc box的比较麻烦，说起来比较啰嗦，还是直接看代码吧：
修改完box之后，需要重新生成moov box，由于moov box的大小以及时长等信息都发生了改变，所以需要box的大小做相应的修改，这点千万不能忘记，否则播放器会解析错误。重新生成box之后，还要计算一下分割后的数据的长度，由于数据长度也发生了改变，所以修改mdat box的大小的同时，要同时修改stbl下所有box的chunk offset，切记！
以下是整个的逻辑过程：
好了，所有这些都实现之后，就具备了做mp4点播系统的条件了。不过，要做mp4点播，还有一些其他的问题需要解决，