Android音视频开发-前言

Android音视频开发，我想很多开发者都知道这个概念，音视频开发不仅需要掌握图像、音频、视频的基础知识，并且还需要掌握如何对它们进行采集、渲染、处理、传输等一系列的开发和应用，因此，音视频开发是一门涉及到很多内容的领域，主要内容如下（一图胜千言）

音视频-1

采集：

采集，在音视频开发中主要针对的是数据从哪里来的问题。图像、视频的可视化数据来自摄像头这毫无疑问，而音频数据则是来自麦克风，关于采集的知识点涉及到如下内容：

• 系统的摄像头采集接口是什么，怎么用 ？
  如：Windows：DirectShow，Linux：V4L2，Android：Camera

• 系统的摄像头采集的参数怎么配置，都是什么含义 ？
  如：分辨率、帧率、预览方向、对焦、闪光灯 等

• 系统的摄像头输出的图像/视频数据，是什么格式，不同格式有什么区别 ？
  如：图片：JPEG，视频数据：NV21，NV12，I420 等

• 系统的麦克风采集接口是什么，怎么用 ？
  如：Windows：DirectShow，Linux：ALSA & OSS，Android：AudioRecord，iOS：Audio Unit 等

• 系统的麦克风采集参数怎么配置，都是什么含义 ？
  如：采样率，通道号，位宽 等

• 系统的麦克风输出的音频数据，是什么格式？
  如：PCM

渲染：

渲染，在音视频开发中主要针对的是数据展现的问题。我们知道，图像、视频最终都是要绘制到视图（View层）上面，而音频最终都是要输出到扬声器，因此，做音视频渲染，就要掌握如下的技术知识：

• 系统提供了哪些 API 可以绘制一张图片或者一帧 YUV 图像数据的 ？
  如：
  Windows：DirectDraw, Direct3D, GDI，OpenGL 等
  Linux： GDI， OpenGL 等
  Android：ImageView，SurfaceView，TextureView，OpenGL 等

• 系统提供了哪些 API 可以播放一个 mp3 或者 pcm 数据 ？
  如：
  Windows：DirectSound 等
  Linux：ALSA & OSS 等
  Android：AudioTrack 等

处理：

渲染，在音视频开发中主要针对的是数据如何加工的问题，那具体怎么处理？如下图：

音视频-处理

针对图像和音视频的处理，实现方式除了使用系统的 API，大多数也会使用一些优秀的第三方库，通过掌握这些第三方库的原理和使用方法，基本上就可以满足日常音视频处理工作了，这些库包括但不限于：

• 图像处理：OpenGL，OpenCV，libyuv，ffmpeg 等
• 视频编解码：x264，OpenH264，ffmpeg 等
• 音频处理：speexdsp，ffmpeg 等
• 音频编解码：libfaac，opus，speex，ffmpeg 等

传输：

传输，在音视频开发中主要针对的是数据共享的问题，采集完并处理数据以后，我们如何快速传输数据这一难题又摆在了面前，试想如果一个以音视频为主导业务的APP如果在播放过程中非常卡顿的话，用户体验那会是非常糟糕的。因此，解决传输的问题也就摆在了我们的面前。那么，数据究竟如何实现传输共享呢 ？共享，实现细则最重要的一点，就是协议，因此需要具体掌握的协议如下：

• 打包，音视频在传输前怎么打包，如：FLV，ts，mpeg4 等
• 直播推流，有哪些常见的协议，如：RTMP，RTSP 等
• 直播拉流，有哪些常见的协议，如：RTMP，HLS，HDL，RTSP 等
• 基于 UDP 的协议有哪些？如：RTP/RTCP，QUIC 等

总体来说 Android音视频开发属于高级研发工程师涉及到的领域，市场上对于Android音视频开发工程师提供的薪资真的是very very可观的，另外，Android音视频开发的学习系列文章主要是参考Jhuster前辈的博客和指导意见，这里在次感谢前辈们的无私分享，前辈也给出了具体的学习任务线，具体内容如下：

• 1：在 Android 平台绘制一张图片，使用至少 3 种不同的 API，ImageView，SurfaceView，自定义 View

• 2： 在 Android 平台使用 AudioRecord 和 AudioTrack API 完成音频 PCM 数据的采集和播放，并实现读写音频 wav 文件

• 3： 在 Android 平台使用 Camera API 进行视频的采集，分别使用 SurfaceView、TextureView 来预览 Camera 数据，取到 NV21 的数据回调

• 4： 学习 Android 平台的 MediaExtractor 和 MediaMuxer API，知道如何解析和封装 mp4 文件

• 5： 学习 Android 平台 OpenGL ES API，了解 OpenGL 开发的基本流程，使用 OpenGL 绘制一个三角形

• 6： 学习 Android 平台 OpenGL ES API，学习纹理绘制，能够使用 OpenGL 显示一张图片

• 7： 学习 MediaCodec API，完成音频 AAC 硬编、硬解

• 8： 学习 MediaCodec API，完成视频 H.264 的硬编、硬解

• 9： 串联整个音视频录制流程，完成音视频的采集、编码、封包成 mp4 输出

• 10： 串联整个音视频播放流程，完成 mp4 的解析、音视频的解码、播放和渲染

• 11： 进一步学习 OpenGL，了解如何实现视频的剪裁、旋转、水印、滤镜，并学习 OpenGL 高级特性，如：VBO，VAO，FBO 等等

• 12： 学习 Android 图形图像架构，能够使用 GLSurfaceviw 绘制 Camera 预览画面

• 13： 深入研究音视频相关的网络协议，如 rtmp，hls，以及封包格式，如：flv，mp4

• 14： 深入学习一些音视频领域的开源项目，如 webrtc，ffmpeg，ijkplayer，librtmp 等等

• 15：将 ffmpeg 库移植到 Android 平台，结合上面积累的经验，编写一款简易的音视频播放器

• 16：将 x264 库移植到 Android 平台，结合上面积累的经验，完成视频数据 H264 软编功能

• 17： 将 librtmp 库移植到 Android 平台，结合上面积累的经验，完成 Android RTMP 推流功能

• 18：.上面积累的经验，做一款短视频 APP，完成如：断点拍摄、添加水印、本地转码、视频剪辑、视频拼接、MV 特效等功能

加油吧少年！

如果这篇文章对您有开发or学习上的些许帮助，希望各位看官留下宝贵的star，谢谢。

Ps:著作权归作者所有,转载请注明作者, 商业转载请联系作者获得授权，非商业转载请注明出处(开头或结尾请添加转载出处，添加原文url地址),文章请勿滥用,也希望大家尊重笔者的劳动成果