视音频编解码H264,265,MPEG-4,VP8,VP9知识总结

首先澄清几个基础知识：

一：封装格式：

我们常见的音视频文件格式例如：mp4 ，flv,rmvb,avi等称为封装格式。封装格式里面封装了各种编码器编码的视频源信息的宽高比，视频轨，音频轨。例如视频源为H264,265编码格式的编码器编码之后的后缀为h264,265的视频编码源文件，音频同理，后缀为.aac .mp3的音频编码文件。

看如下例子：我们通过查看视频文件的封装格式和编码格式.

例如通过Media Player classic播放器打开一个.mov后缀格式的播放文件

二：编解码格式：

H264,265,VP8,VP9等为编码格式

三：视音频播放器原理：

视音频主要包括以下几种技术：封装技术，视频压缩编码技术以及音频压缩编码技术，流媒体协议技术。

下面分析下播放一个网络视频具体需要的流程：

解协议—解封装—解码视音频—视音频同步

如果解本地视频则不需要解协议，流程为：

解封装—解码视音频—视音频同步

解协议的作用：就是将流媒体协议的数据，解析为相应的封装格式的数据.

音视频数据主要依靠流媒体协议在网络上传输，例如http,rtmp,MMS，这些视音频在传输同时伴随着信令控制例如暂停，播放和对网络的描述这些控制信令，解协议的过程其实就是去掉控制信令的数据只保留封装音视频数据

解封装作用：就是将输入封装格式的数据分离出来，分离成为音频流压缩编码数据和视频流压缩编码数据

解码的作用：就是将视频和音频压缩编码数据解码成为非压缩编码数据，视频的压缩编码格式有：H264 ,265, MPEG-4.解码就是将H264，265编码格式的数据解码成为yuv420 RGB格式的数据.

视音频同步的作用：就是根据解封装模块处理过程中的参数信息，同步解码出来的视频和音频数据，并将视频和音频数据同步到显卡和声卡中播放出来。

新一代编码规范：

265 ,VP8,VP9