ffmpeg音视频基础学习

ffmpeg音视频基础学习

从去年开始了解音视频，中间也由于项目的需要，学习过ffmpeg、live555、以及QTAV框架，一直没总结过，现在大致总结下音视频中的常见词汇，后续慢慢更新添加！博客也会转载以及原创一些属于自己的东西！

如果没有一点基础的朋友我建议大家可以看看雷博主的两篇博客对于新手真的很有用。

●[总结]视音频编解码技术零基础学习方法

●[总结]FFMPEG视音频编解码零基础学习方法

1.什么是编码，解码，转码？

编码：通过特定的压缩技术，将某个视频的视频流格式转化为另一种视频格式的视频流方式    ==>  减少数据量，节省带宽

解码：通过特定的解压缩技术，将某个视频格式的视频流转化为另一种视频格式的视频流方式

转码：视频转码技术将一种视频信号从一种格式转化为另一种格式

编码方式：h261、h263、h264、h265、pcm、aac等

封装格式：AVI、MP4、3GP、MPEGTS等

2.TS流、PS流、PES流和ES流都是什么？

ES流（Elementary Stream）：基本码流，不分段的音频、视频或其他信息的连续码流。

PES流：把基本流ES分割成段，并加上相应头文件打包成形的打包基本码流。

PS流（Program Stream）：节目流，将具有共同时间基准的一个或多个PES组合（复合）而成的单一数据流（用于播放或编辑系统，如m2p）。

TS流（Transport Stream）：传输流，将具有共同时间基准或独立时间基准的一个或多个PES组合（复合）而成的单一数据流（用于数据传输）。

如果想了解TS流是什么，以及ffmpeg从TS流到PAT、PMT表解复用的整个过程，可以看下该博主博客，很详细！

●【PSI/SI学习系列】1.从TS流到PAT和PMT

3.TS和PS有什么区别？

       据传输媒体的质量不同，MPEG-2中定义了两种复合信息流：传送流（TS：TransportStream）和节目流（PS：ProgramStream）

       TS流与PS流的区别在于TS流的包结构是固定长度的，而PS流的包结构是可变长度的。

       PS包与TS包在结构上的这种差异，导致了它们对传输误码具有不同的抵抗能力，因而应用的环境也有所不同。TS码流由于采用了固定长度的包结构，当传输误码破坏了某一TS包的同步信息时，接收机可在固定的位置检测它后面包中的同步信息，从而恢复同步，避免了信息丢失。而PS包由于长度是变化的，一旦某一PS包的同步信息丢失，接收机无法确定下一包的同步位置，就会造成失步，导致严重的信息丢失。因此，在信道环境较为恶劣，传输误码较高时，一般采用TS码流；而在信道环境较好，传输误码较低时，一般采用PS码流。

       由于TS码流具有较强的抵抗传输误码的能力，因此目前在传输媒体中进行传输的MPEG-2码流基本上都采用了TS码流的包格式。

       MPEG2-PS主要应用于存储的具有固定时长的节目，如DVD电影，而MPEG-TS则主要应用于实时传送的节目，比如实时广播的电视节目。这两种格式的主要区别是什么呢？你将DVD上的VOB文件的前面一截剪掉（或者干脆就是数据损坏），那么就会导致整个文件无法解码，而电视节目是你任何时候打开电视机都能解码（收看）的，所以，MPEG2-TS格式的特点就是要求从视频流的任一片段开始都是可以独立解码的。

4.图像中的I、P、B帧是什么？

      ● I帧是关键帧，属于帧内压缩。就是和AVI的压缩是一样的。I帧表示关键帧，你可以理解为这一帧画面的完整保留；解码时只需要本帧数据就可以完成（因为包含完整画面）

     ● P是向前搜索的意思。B是双向搜索。他们都是基于I帧来压缩数据。P帧表示的是这一帧跟之前的一个关键帧（或P帧）的差别，解码时需要用之前缓存的画面叠加上本帧定义的差别，生成最终画面。（也就是差别帧，P帧没有完整画面数据，只有与前一帧的画面差别的数据）
     ● B帧是双向差别帧，也就是B帧记录的是本帧与前后帧的差别（具体比较复杂，有4种情况，但我这样说简单些，有兴趣可以看看我上面提供的资料），换言之，要解码B帧，不仅要取得之前的缓存画面，还要解码之后的画面，通过前后画面的与本帧数据的叠加取得最终的画面。B帧压缩率高，但是解码时CPU会比较累~。

      详细了解请参考转载博客：●图像I、P、B帧介绍 ●视频流中的 I帧 P帧 B帧 .
      暂时写到这里，以后再慢慢添加！