序章「Android音视频编码那点破事」

目录

序章
第一章,使用SurfaceTexture作为Camera输出
第二章,使用TextureView渲染Camera画面
第三章,使用OpenGL为Camera添加各种滤镜
第四章,使用MediaCodec实现H264编码
第五章,使用MediaCodec编码AAC音频数据
第六章,使用MediaMuxer对音视频进行混合封装
第七章,在Linux下编译Android版X264
第八章,X264实现H264编码以及MediaMuxer的另类用法

序章「Android音视频编码那点破事」_第1张图片
镇楼(Author:板栗懒得很)

序章

  本章仅对部分代码进行讲解,以帮助读者更好的理解章节内容。本系列文章涉及的项目HardwareVideoCodec已经开源到Github。目前已迭代多个稳定版本,欢迎查阅学习和使用,如有BUG或建议,欢迎Issue。

  其实这一两年关于Android 平台的视频编解码学习资料已经很多了,包括书籍和网上的一些公开教程。书籍讲得详细一点,所以推荐大家去买些书籍看看。而网上的资料的话,大多是零星点点,新手学习起来并不是很轻松,包括我。所以这也是促使本人对这一块知识做记录的原因。
  我打算开几个章节来分享一下相关的知识点,因为想详细展开,内容可能有点多,也算是做一些个人笔记。

  这个笔记的主要内容是,使用硬编和软编的方式解决Android视频编解码的问题(后续会支持解码),并且使用OpenGL实现滤镜渲染,包括美颜,水印等等。
  该项目已经开源在Github,目前已经迭代到了1.2.1版本,使用GPL开源协议,请大家遵守该协议,为开源事业做点贡献。名字虽然叫做硬编解码器,但其实已经扩展了软编。HardwareVideoCodec使用Kotlin实现,没有学过Kotlin的不需要害怕,先去看一些语言基础就可以了。


知识点

  • OpenGL
    1. EGL(全称Embedded Graphics Library,一组OpenGL连接本地窗口的接口,主要通过Surface向窗口绘制帧画面,以及给MediaCodec提供帧数据)
    2. FBO(帧缓冲区,这里主要用于离屏渲染以及特效)
    3. PBO(像素缓冲区对象,可以高效读取GPU中的像素数据,用于软编)
    4. 纹理
  • Camera
  • SurfaceTexture(集成了EGL环境的Surface,可以很方便的与OpenGL联动,也是TextureView提供的渲染接口)
  • MediaCodec(硬编解决方案)
  • X264(软编解决方案)
  • MediaMuxer(音视频混合器)

  以上内容我会选一部分在接下来的时间里详细展开,尤其是OpenGL和编码那一块。

可能有人有疑问,软编解码首选的不是大名鼎鼎的ffmpeg吗,为什么直接使用x264。这里我可以很负责任的告诉你,直接使用x264,再配合MediaMuxer使用会简单很多,也是因为硬编同样会用到MediaMuxer。

  大家都知道ffmpeg其实就是在众多编解码器上套个壳子,再集成一个混合器,虽然功能众多,但是却很臃肿(当然已经很出色了),以至于我来了来来回回学习了4+次也没有掌握。ffmpeg的头文件相当多,相比之下,x264只有一个头文件,没几个方法,掌握起来很容易。对于编解码常常用到的颜色格式(ColorFormat)转换,ffmpeg提供了swscale,功能虽然很强大,但效率不敢恭维,完全可以使用google的libyuv替代。所以,如果没有很复杂的功能需求,还是老老实实的使用x264来的方便。

  先简单看一下HardwareVideoCodec的结构图:

序章「Android音视频编码那点破事」_第2张图片
简单结构图
序章「Android音视频编码那点破事」_第3张图片
详细结构图

  从结构图中可以看到,HardwareVideoCodec做了比较详细的分层结构,从上往下总共四层

  • 总控制器
  • 帧渲器
  • 编码器
  • 混合器
      可以很方便的进行扩展,比如把混合器去掉,在编码器数据出口处增加直播推流都是很方便的。
  • CameraPreviewPresenter:名字虽然叫做摄像头预览管理器,但其实也有统筹渲染器、编码器、混合器职能。在这个层级会持有摄像头,并且初始化一组EGL,提供取出摄像头数据的环境。
  • Render:摄像头数据在这里取出,并保存在第一组FBO。同时这一层的EGL环境会把FBO的数据绘制到TextureView提供的SurfaceTexture,也就是屏幕。这里还有一组filter,OpenGL的滤镜入口在这里。
  • Encoder:音视频编码器的抽象层,利用这组接口可以很方便的扩展自己的编码器。当然,笔者在这里已经提供了软硬编码器的实现。
  • Muxer:混合器,用来混合音视频,并把它们封装成需要的格式,这里固定封装成mp4。
      以上是HardwareVideoCodec的简单结构,作为序章就先讲这么多。接下来我会继续更新,详细去讲解具体实现,以及在实现过程中会碰到的一系列问题。有兴趣的可以去Github上查看源码学习,欢迎star以及issue。也可以关注我,以便能及时收到这个系列的更新。

欢迎关注微信公众,及时获取一手多媒体技术资讯

你可能感兴趣的:(序章「Android音视频编码那点破事」)