FFmpeg学习一

直播视频在iphone手机显示流程.png

一、音视频学习中涉及到的概念

1.我们常见的音视频格式有.mp4,mkv.avi,正如我们常见的.word 需要word 工具打开，不同格式的音视频也需要不同格式的播放器打开，这种视频格式相当于存储视频信息的容器，里面包含了音频信息，视频信息和相关的配置信息（比如.mp4格式 音视频是如何关联的信息，如何解码等）

2.封装格式：简单的来说就是一个容器，里面存储已经编码压缩好的视频数据 和 音频数据，按照一定的格式存放到一个文件中，这个文件可以称之为容器；通常除了存储音频/视频数据，还有存放音视频同步的元数据比如说字幕。

常见的视频容器格式有：mp4 mov AVI mkv 等等

通俗的来说：

容器指的是一种音视频文件格式比如.avi，协议指的是存放在音视频文件中的数据的编解码方式，一个容器可以装有各种不同的编解码方式的数据，每种编解码方式都需要不同的编解码器。MPEG、H.26X等等编码方式比较常见。 AVI、MPG、MP4等等容器比较常见。

二：视频编解码方式

视频解编码的过程：对数字视频进行压缩或者解压缩 的一个过程，这期间需要考虑：视频的质量，视频的码率（用来表示视频所需要的数据量），编码算法/解码算法的复杂度，针对数据存储的错误与延迟等等因素

2.1 常见的编码方式有

H.26X系列，其中H.265被称为高效视频编码，常用的是H.264，优势在于低码率，高质量的图像，容错能力强，网络适用性强
MPEG系列
视频编解码方式与视频封装格式之间有啥关系呐？

【视频封装格式】可以理解为 装着视频/音频/【视频编解码方式】等信息的容器

一种视频封装格式可以支持多种视频编码方式，但是无法确切的知道视频编解码方式

二：音频编码方式

视频中除了画面通常还有声音这就涉及到了音频编解码。视频中经常使用的音频编码方式有AAC，MP3等等，中AAC是目前比较热门的有损压缩编码技术。

为什么要做音频编码：从存储的角度或者实时传播的角度来说，数据量较大，所以需要通过压缩编码

压缩编码的基本指标是压缩比，压缩比通常小于1，如果大于1就没有意义了，压缩算法分为2种有损压缩+无损压缩

无损压缩：解压后的数据可以完全复原，有所压缩用的较多
有损压缩：解压后的数据不能完全复原，会丢失一部分信息，压缩比越小，丢失的信息就会越多，信号还有的失真就会越大
压缩编码的原理实际上就是压缩冗余的信号.冗余信号就是指不能被人耳感知的信号.包括人耳听觉范围之外的音频信号以及被掩盖掉的音频信号.

何为编码？编码就是按照一杜杰不到个格式记录采样和量化后的数据

硬编码: 使用非CPU进行编码,例如使用GPU芯片处理，性能高，低码率下通常质量低于硬编码器，但部分产品在GPU硬件平台移植了优秀的软编码算法（如X264）的，质量基本等同于软编码。
软编码: 使用CPU来进行编码计算.实现直接、简单，参数调整方便，升级易，但CPU负载重，性能较硬编码低，低码率下质量通常比硬编码要好一点。
三：直播项目的流程，如下

音视频采集
主要使用原生框架AVFoundation.framework

视频滤镜
开发中比较倾向于第三方框架GPUImage，框架是基于OpenGL ES

音视频编码压缩
硬编码：

视频: VideoToolBox框架 音频: AudioToolBox 框架

软编码：

视频: 使用FFmpeg,X264算法把视频原数据YUV/RGB编码成H264

音频: 使用fdk_aac 将音频数据PCM转换成AAC

推流
什么是推流？将采集的音频.视频数据通过流媒体协议发送到流媒体服务器

推流的技术如下：

.1流媒体协议: RTMP\RTSP\HLS\FLV

RTMP：长连接（TCP）每个时刻的数据收到立刻转发，低延时，跨平台差

HLS：基于http协议，集合一段时间数据，生成 ts 切片文件。

.2视频封装格式: TS\FLV

.3音频封装格式: Mp3\AAC

流媒体服务器处理
.1数据分发 .2 截屏 .3实时转码 .4内容检测

拉流
什么是拉流？从流媒体服务器中 获取音频\视频数据；

拉流框架有：LFLiveKit，七牛等。

音视频解码
硬解码：

视频: VideoToolBox框架 音频: AudioToolBox 框架

软解码：

视频: 使用FFmpeg,X264算法解码

音频: 使用fdk_aac 解码

音视频播放
ijkplayer /kxmovie 播放框架​​​​​​​；全部都是基于FFmpeg框架封装的