音视频学习总览

0 序言

从2018年开始接触音视频领域的知识开始，慢慢的摸清楚了该领域需要掌握的知识体系，慢慢完善这篇关于音视频学习的总览文章的同时，不断学习对应知识点的内容，形成自己的音视频领域完善的知识体系。2019，fighting！

---

1  音视频体系知识介绍（借鉴七牛云直播卢俊的文章）

1.1 实时音视频开发包括哪些技术内容

虽然一篇文章无法把音视频开发的知识点都介绍清楚，但是大概的学习路线还是可以梳理一下的，我们先看看下面这张图：

其实说白了，音视频开发，就是要掌握图像、音频、视频的基础知识，并且学会如何对它们进行采集、渲染、处理、传输等一系列的开发和应用。

具体的技术内容如下：

• 采集：它解决的是，数据从哪里来的问题；
• 渲染：它解决的是，数据怎么展现的问题；
• 处理：它解决的是，数据怎么加工的问题；
• 传输：它解决的是，数据怎么共享的问题。

每一个门类，都可以深挖，衍生出一个又一个充满技术挑战的话题，比如：如何更高效地渲染画面、如何提高音视频的压缩比，如何优化弱网下的音视频数据传输等等。
其实，音视频开发的技术积累，也没有那么难，带着问题去 Google，带着任务去实践，一切都不是问题，我们就从上面说的 4 个方向，逐个探索一下，有哪些知识点，是要我们去了解和掌握的。
我们分别具体来看看采集、渲染、处理、传输等技术点。

1.2、具体技术点之采集

采集，它解决的是，数据从哪里来的问题，那么，数据究竟从哪里来的呢 ？

其实无论在哪个平台，图像、视频最初都是来自摄像头，而音频最初都是来自麦克风，因此，做音视频采集，就要掌握如下的技术知识。
1）系统的摄像头采集接口是什么，怎么用 ？

比如：
Windows：DirectShow
Linux：V4L2
Android：Camera
iOS：AVCaptureSession

2）系统的摄像头采集的参数怎么配置，都是什么含义 ？

比如：分辨率、帧率、预览方向、对焦、闪光灯 等。

3）系统的摄像头输出的图像/视频数据，是什么格式，不同格式有什么区别 ？

比如：图片：JPEG，视频数据：NV21，NV12，I420 等

4）系统的麦克风采集接口是什么，怎么用 ？

比如：
Windows：DirectShow
Linux：ALSA & OSS
Android：AudioRecord
iOS：Audio Unit

5）系统的麦克风采集参数怎么配置，都是什么含义 ？

比如：采样率，通道号，位宽 等

6）系统的麦克风输出的音频数据，是什么格式？

比如：PCM

1.3、具体技术点之渲染

渲染，它解决的是，数据怎么展现的问题，那么，数据究竟怎么展现呢 ？

其实无论在哪个平台，图像、视频最终都是要绘制到视图上面，而音频最终都是要输出到扬声器，因此，做音视频渲染，就要掌握如下的技术知识。

1）系统提供了哪些 API 可以绘制一张图片或者一帧 YUV 图像数据的 ？

比如：
Windows：DirectDraw, Direct3D, GDI，OpenGL 等
Linux： GDI， OpenGL 等
Android：ImageView，SurfaceView，TextureView，OpenGL 等
iOS： CoreGraphics，OpenGL 等

2）系统提供了哪些 API 可以播放一个 mp3 或者 pcm 数据 ？

比如：
Windows：DirectSound 等
Linux：ALSA & OSS 等
Android：AudioTrack 等
iOS： AudioQueue 等

1.4、具体技术点之处理

处理，它解决的是，数据怎么加工的问题，那么，数据究竟可以怎么加工呢 ？
首先，我们看看图像/音视频的数据可以做哪些加工 ？

其实无论在哪个平台，图像和音视频的加工，除了系统的 API，大多数都会依赖一些跨平台的第三方库的，通过掌握这些第三方库的原理和使用方法，基本上就可以满足日常音视频处理工作了。

这些库包括但不限于：

• 1）图像处理：OpenGL，OpenCV，libyuv，ffmpeg 等；
• 2）视频编解码：x264，OpenH264，ffmpeg 等；
• 3）音频处理：speexdsp，ffmpeg 等；
• 4）音频编解码：libfaac，opus，speex，ffmpeg 等。

因此，学习和掌握这些第三方库的使用，非常有必要。（以上这些第3方库的详细介绍和盘点，详见《福利贴：最全实时音视频开发要用到的开源工程汇总》）

1.5、具体技术点之传输

传输，它解决的是，数据怎么共享的问题，那么，数据究竟怎么共享呢 ？
共享，最重要的一点，就是协议。
我觉得互联网之所以能够如此蓬勃地发展，将整个世界都紧密联系在一起，其实是离不开 W3C 这个委员会的巨大贡献的，因为无论什么数据，要想在不同的国家、不同设备之间互联互通，离不开 “标准”，有了 “标准”，大家就能互相读懂对方。

因此，研究音视频传输，其实就是在研究协议，具体有哪些协议呢 ？

• 1）音视频在传输前，怎么打包的，如：FLV，ts，mpeg4 等；
• 2）直播推流，有哪些常见的协议，如：RTMP，RSTP 等；
• 3）直播拉流，有哪些常见的协议，如：RTMP，HLS，HDL，RTSP 等；
• 4）基于 UDP 的协议有哪些？如：RTP/RTCP，QUIC 等。

---

2 学习大纲汇总

为了方便以后学习，梳理，查漏补缺，特别的在此提供一个总领性的目录或者说是入口

       1  音视频基础知识

       2  音视频采集

                 2.1 windows平台

                 2.2 linux平台

                 2.3 mac平台

                 2.3 ios平台

                 2.4 android平台

      3   音视频编解码

                 3.1 音频编解码

                 3.2 视频编解码

       4  音视频封装格式

                [总结]多媒体文件格式、封装、容器

       5  音视频传输协议

                5.1 RTMP

                             rtmp汇总性学习资料

                5.2 RTP/RTCP

                5.3 HLS

                5.4 RTSP

        6  音视频渲染

                6.1 SDL

                6.2 OPENGL

                6.3 D3D9

        7   流媒体服务器

                7.1 srs

                7.2  licode

         8  重要的开源项目

                8.1 FFMPEG

                              ffmpeg汇总性学习资料

                8.2 WebRtc