音视频入门学习笔记（4）视频播放过程及视频文件格式

 具体视频文件格式详解：

• . MPEG/.MPG/.DAT

MPEG也是Motion Picture Experts Group的缩写。这类格式包括了MPEG-1, MPEG-2和 MPEG-4在内的多种视频格式。MPEG-1相信是大家接触得最多的了，因为目前其正在被广泛地应用在VCD的制作和一些视频片段下载的网络应用上面，大部分的VCD都是用 MPEG1格式压缩的( 刻录软件自动将MPEG1转为.DAT格式)，使用 MPEG-1的压缩算法，可以把一部 120 分钟长的电影压缩到1.2 GB 左右大小。MPEG-2则是应用在DVD 的制作，同时在一些HDTV（高清晰电视广播）和一些高要求视频编辑、处理上面也有相当多的应用。使用MPEG-2的压缩算法压缩一部 120 分钟长的电影可以压缩到 5-8 GB的大小（MPEG2的图像质量MPEG-1与其无法比拟的）。

• .AVI

它的英文全称为Audio Video Interleaved，即音频视频交错格式。是将语音和影像同步组合在一起的文件格式。它对视频文件采用了一种有损压缩方式，但压缩比较高，因此尽管面面质量不是太好，但其应用范围仍然非常广泛。AVI支持256色和RLE压缩。AVI信息主要应用在多媒体光盘上，用来保存电视、电影等各种影像信息。它于1992年被Microsoft公司推出，随Windows3.1一起被人们所认识和熟知。所谓“音频视频交错”，就是可以将视频和音频交织在一起进行同步播放。这种视频格式的优点是图像质量好，可以跨多个平台使用，其缺点是体积过于庞大，而且更加糟糕的是压缩标准不统一，最普遍的现象就是高版本Windows媒体播放器播放不了采用早期编码编辑的AVI格式视频，而低版本Windows媒体播放器又播放不了采用最新编码编辑的AVI格式视频，所以我们在进行一些AVI格式的视频播放时常会出现由于视频编码问题而造成的视频不能播放或即使能够播放，但存在不能调节播放进度和播放时只有声音没有图像等一些莫名其妙的问题，如果用户在进行AVI格式的视频播放时遇到了这些问题，可以通过下载相应的解码器来解决。是目前视频文件的主流。 这种格式的文件随处可见，比如一些游戏、教育软件的片头，多媒体光盘中，都会有不少的 AVI 。现在，在WINDOWS 95或98里都能直接播放AVI，同一种格式的avi文件有可能采用不同的编码方式，最常见的有Intel Indeo（R）Video R3.2（像游戏过场动画等，是目前使用最广泛的一种avi编码技术）、Microsoft video 等。

• .RA/RM/RAM

.RM，Real Networks公司所制定的音频/视频压缩规范Real Media中的一种，Real Player能做的就是利用Internet资源对这些符合Real Media技术规范的音频/视频进行实况转播。在Real Media规范中主要包括三类文件：RealAudio、Real Video和Real Flash（Real Networks公司与Macromedia公司合作推出的新一代高压缩比动画格式）。REAL VIDEO（RA、RAM）格式由一开始就是定位就是在视频流应用方面的，也可以说是视频流技术的始创者。它可以在用56K MODEM 拨号上网的条件实现不间断的视频播放，从RealVideo的定位来看，就是牺牲画面质量来换取可连续观看性。其实RealVideo也可以实现不错的画面质量，由于RealVideo可以拥有非常高的压缩效率，很多人把VCD编码成RealVideo格式的，这样一来，一张光盘上可以存放好几部电影。REAL VIDEO存在颜色还原不准确的问题，RealVideo就不太适合专业的场合，但RealVideo出色的压缩效率和支持流式播放的特征，使得RealVideo在网络和娱乐场合占有不错的市场份额。

• .MOV

MOV格式，美国Apple公司开发的一种视频格式，默认的播放器是苹果的QuickTimePlayer。具有较高的压缩比率和较完美的视频清晰度等特点，但是其最大的特点还是跨平台性，即不仅能支持MacOS，同样也能支持Windows系列,在所有视频格式当中，也许MOV格式是最不知名的。也许你会听说过QuickTime，MOV格式的文件正是由它来播放的。在PC几乎一统天下的今天，从Apple移植过来的MOV格式自然是受到排挤的。它具有跨平台、存储空间要求小的技术特点，而采用了有损压缩方式的MOV格式文件，画面效果较AVI格式要稍微好一些。到目前为止，它共有4个版本，其中以 4.0 版本的压缩率最好。这种编码支持16位图像深度的帧内压缩和帧间压缩，帧率每秒10帧以上。现在这种格式有些非编软件也可以对它时行处理，其中包括ADOBE公司的专业级多媒体视频处理软件AFTEREFFECT和PREMIERE。 *.ASF ASF (Advanced Streaming format高级流格式)。ASF是MICROSOFT 为了和现在的 Real player 竞争而发展出来的一种可以直接在网上观看视频节目的文件压缩格式。ASF使用了MPEG4的压缩算法，压缩率和图像的质量都很不错。因为ASF是以一个可以在网上即时观赏的视频“流”格式存在的，所以它的图像质量比VCD差一点点并不出奇，但比同是视频“流”格式的RAM格式要好。 ASF支持任意的压缩/解压缩编码方式，并可以使用任何一种底层网络传输协议，具有很大的灵活性。ASF流文件的数据速率可以在28.8Kbps到3Mbps之间变化。用户可以根据自己应用环境和网络条件选择一个合适的速率，实现VOD点播和直播。

• .WMV

WMV是微软推出的一种流媒体格式，它是ASF的升级延伸，在同等视频质量下，WMV格式的体积非常小，因此很适合在网上播放和传输。微软希望用其取代QuickTime之类的技术标准以及WAV、AVI之类的文件扩展名。WMV的主要优点在于：可扩充的媒体类型、本地或网络回放、可伸缩的媒体类型、流的优先级化、多语言支持、扩展性等。

• .NAVI

如果你发现原来的播放软件突然打不开此类格式的AVI文件，那你就要考虑是不是碰到了n AVI。n AVI是New AVI 的缩写，是一个名为Shadow Realm的地下组织发展起来的一种新视频格式。它是由Microsoft ASF压缩算法的修改而来的（并不是想象中的AVI），视频格式追求的无非是压缩率和图像质量，所以NAVI为了追求这个目标，改善了原始的ASF格式的一些不足，让 NAVI 可以拥有更高的帧率。可以这样说，NAVI是一种去掉视频流特性的改良型ASF格式。 - .FLV
FLV 是 FLASH VIDEO的简称，是由Macromedia公司开发的属于自己的流式视频格式。FLV也就是随着Flash MX的推出发展而来的视频格式，是在sorenson公司的压缩算法的基础上开发出来的。FLV格式不仅可以轻松的导入Flash中，速度极快，并且能其到保护版权的作用，并且可以不通过本地的微软或者REAL播放器播放视频。Flash MX 2004对其提供了完美的支持，它的出现有效地解决了视频文件导入Flash后，使导出的SWF文件体积庞大，不能在网络上很好的使用等缺点。由于它形成的文件极小、加载速度极快，使得网络观看视频文件成为可能，它的出现有效地解决了视频文件导入Flash后，使导出的SWF文件体积庞大，不能在网络上很好的使用等缺点。

摘自：http://blog.csdn.net/fenglinfeiye/article/details/5608295

介绍：视频播放过程

首先简单介绍以下视频文件的相关知识。我们平时看到的视频文件有许多格式，比如 avi， mkv， rmvb， mov， mp4等等，这些被称为容器（Container）， 不同的容器格式规定了其中音视频数据的组织方式（也包括其他数据，比如字幕等）。容器中一般会封装有视频和音频轨，也称为视频流（stream）和音频 流，播放视频文件的第一步就是根据视频文件的格式，解析（demux）出其中封装的视频流、音频流以及字幕（如果有的话），解析的数据读到包 （packet）中，每个包里保存的是视频帧（frame）或音频帧，然后分别对视频帧和音频帧调用相应的解码器（decoder）进行解码，比如使用 H.264编码的视频和MP3编码的音频，会相应的调用H.264解码器和MP3解码器，解码之后得到的就是原始的图像(YUV or RGB)和声音(PCM)数据，然后根据同步好的时间将图像显示到屏幕上，将声音输出到声卡，最终就是我们看到的视频。

20160118102143440.png

封装格式

作用：视频码流和音频码流按照一定的格式储存在一个文件汇总

视频编码数据

作用：将视频像素数据（RGB，YUV等）压缩成为视频码流，从而降低视频的数据量

音频编码数据

作用：将音频采样数据（PCM等）压缩成为音频码流，从而降低音频的数据量

视频像素数据

作用：保存了屏幕上每一个像素点的像素值

格式：常见的像素数据格式有RGB24, RGB32,YUV420P,YUV422P,YUV444P等。压缩编码中一般使用的是YUV格式的像素数据,最为常见的格式YUV420P。

特点：视频像素数据体积很大，一般情况下一小时高清视频的RGB24格式的数据体积为：3600*25*1920*1080*3=559.9GB（PS：这里假定帧率为25HZ，取样精度8bit）

音频采样数据

作用：保存了音频中每个采样点的值。

特点：音频采样数据体积很大,一般情况下一首4分钟的PCM格式的歌曲体积为: 4*60*44100*2*2=42.3MByte
           PS:这里假定采样率为44100Hz,采样精度为16bit

参考博客：雷神https://blog.csdn.net/leixiaohua1020/article/details/50535082