音视频学习计划路线

笔者2020年立的其中一个flag就是深入学习音视频开发，本着边学边记录的理念，就写了这篇文章作为音视频记录专栏的开篇。

最近打算深入学习音视频开发的相关知识，如果你有以下困惑：

1. 进军移动开发几年，却总是在业务与界面之间反复，介乎没有拿的出手的特长。
2. 听说音视频开发薪资很高，自己蠢蠢欲动，却不知道怎么入门，怎么进阶。
3. 整天调UI，经常因为一个像素的问题与设计狮撕逼个你死我活，又不想脱离移动开发这个饭碗。

如果你有以上困惑，或许你可以尝试以下音视频方向的探索，我们一起进步。

学习音视频的什么内容

知乎上有大牛用两张图简单概括了音视频的主要学习方向：

在这里我再补充一个webrtc方向，目前几乎所有的音视频通话都是采用的webrtc，相信5G时代的到来webrtc将迎来更大的爆发。

这里只是简单列举几个例子作为抛砖引玉：

• 采集：是音频和视频同时采集呢还是分开采集呢？采集后又怎么打包呢？
• 渲染：音视频同步，如何高效渲染又不会导致CPU和内存暴增等。
• 处理：比如音混音、降噪、美颜效果、抖音灵魂出窍效果等等。
• 传输：比如说弱网怎么保证传输、怎么实现秒开、怎么做到低延时等等。

我要准备那些基础知识

• 音视频的基本知识，起码要懂，不然人家PCM，H264你都不知道人家在说什么。
• C/C++的基本知识，比如指针这个是必须要会的，不然你可能连别人的代码都看不懂，但这个不必精通，可以与音视频学习同步进行。
• JNI/NDK的基本知识，比如崩溃定位，Cmake语法等。
• OpenGL这个主要是在视频渲染或对视频进行逐帧加工处理会用到，初中级暂时可以忽略。

先就这么多吧，我怕再写多直接把你们劝退了，其实还有shell脚本之类的我都不好意思说了。

学习路径

这里主要以Android开发为例。

• 初级

主要是Java层面的一些API调用。

比如使用AudioRecord进行录音得到PCM，使用AudioTrack播放PCM音频、使用Camera2采集摄像头数据。

使用 MediaExtractor 和 MediaMuxer API 解析和封装 mp4 文件。

使用MediaCodec进行硬件编解码等。

• 中级进阶

中级主要是一些音视频开源库的编译和使用,这里就需要NDK的相关知识了：

比如FFmpeg交叉编译，使用FFmpeg进行软件编解码、FFmpeg集成xh264，FFmpeg集成Rtmp推流等。

• 高级

深入研究音视频相关的网络协议，如 rtmp，hls，以及封包格式，如：flv，mp4。

深入学习一些音视频领域的开源项目，如 webrtc，ffmpeg，ijkplayer，librtmp 等等。

尝试造一个ijkplayer的轮子等。

尝试使用OpenGL模仿各种抖音效果等等。

音视频学习形式

• 学习方式这种事情因人而异，有的人喜欢看书，有的人喜欢看博客，而对于笔者来说就是看视频是最快的进步方式。

• 我很信奉一句话叫做读万卷书不如行万里路，行万里路不如仙人指路。所以能找到一个这方面的牛人或者领导带的话是最好的，但这可遇不可求。

• 根据smart目标管理原则制定你的学历计划，一旦定下来之后，严格执行。不要说今天指定了计划，蒙头大睡一晚上，第二天起来什么行动也没用继续埋怨社会的不公，明日复明天最可悲。

• 带着问题带着笔记去Google。学习就要有记录，有自己的理解，最好的验证方式是学完一个知识点，能不能自己尝试这写一编通俗易懂的博客。最忌讳的就是打开Google搜索到问题，觉得这篇博客不错，右键添加到收藏夹，那篇博客也不错，右键添加到收藏夹，或者文章都没看完，看到一半迅速拉到底自欺欺人说我会了。其结果就是自己什么也没用学到还浪费了时间。

• 先会用再讲拓展和深究原理。熟练使用之后要尝试造轮子，虽然说不要重复发明轮子，但是尝试做自己的轮子确实是一个进步的最好的实践。或者说我针对目前这个库或者这个框架存在的问题，我自己写一个能不能有更加优异的表现。

• 举一反三。学技术就是要有追求，熟练使用之后就要想人家为什么要这么写，我那样子写行不行？我能还有其他的方式也可以实现这样的功能，为什么作者没用采用？

罗马不是一日建成的，如果能速成，音视频开发的岗位薪资也不会那么高，高有高的难度，难度就是价值所在。
指定计划一定要追求踏实，不要追求速成。俗话说饭要一口一口吃,路要一步一步走，走得太快小心扯蛋！！！

寄语

音视频其实很多都是跨平台的东西，和平台绑定的东西不多。基本可以做到一里通百里明。
音视频是个水很深的领域，很难做到全部精通，但这个领域有个好处，就是知识更新速度比较慢，学的东西不容易被淘汰，经验的积累将会撬动你更大未来可能的一个支点。

所有的伟大都来源于一个勇敢的开始，定了目标就冲吧。

最后如果你对音视频开发感兴趣可扫码关注，后续我们共同探讨，共同进步。