Android平台上使用MediaCodec, Opengl对视频进行处理

https://www.jianshu.com/p/cbebba28b12c

 

前言

当前众多的视频SDK中, 大都是封装ffmpeg对视频进行转码, 压缩, 裁剪的处理.
优点是ffmpeg发展到现在已经相对成熟, 支持的视频格式较多.
但是缺点也是显而易见的的,

速度慢

用cpu来执行视频数据的处理属于软解码, 效率并不高;

是需要的程序运行尺寸较大.

以腾讯视频sdk为例, 有20m上下, 这样的sdk合入应用后, 对应用尺寸影响太大.

版权问题

那可是GPL许可证, 当然, 在国内这个没人在意...

当然目前像是七牛视频sdk也是使用的硬解码方式, 但却是收费的.

最近两个多月因为工作需要, 经历了一番视频录制, 美颜, 裁剪, 转码的需求洗礼, 最终证明通过安卓本地硬解码的方式完全可以实现基本的视频处理. 并且效果很好.

image.png

视频预览

预览也许叫播放更合适. 说道播放, 最简单的有两种选择, 一是MediaPlayer, 一是ExoPlayer

1. 支持的格式方面

ExoPlayer比MediaPlayer支持的视频格式更多. 但因为我们处理的视频格式只有MP4, 所以MediaPlayer完全胜任.

2. 视频逐帧预览.

就是拖动播放进度条时, 显示拖动位置的帧页面, 方便选择. 经过调研, 这个功能跟播放器的关系不大, 跟视频格式强相关, 如果视频的关键帧很少, 那么拖动的时候,显示的画面必然不流畅, 反之, 如果关键帧数据很丰富, 那么画面就会很流畅. 经过测试, 在相同数据状况下, MediaPlayer表现的更好. 当然也可以通过定制修改exoplayer的逻辑达到目的, 但是考虑之下, 已经没有必要.

3. 变速播放.

这个都是支持的.

4. 循环播放

都支持.

5. 预览播放时对画面进行滤镜, 动效处理

都支持.
经过学习研究, 发现可以通过glsurfaceview或者TextureView基础上使用egl来创建surface, 并交给播放器使用. 只要达到这个目的, 就可以方便的对播放器给出的帧画面进行opengl渲染, 不管是滤镜还是类似抖音上的那些动效, 都可以通过着色器来实现.
可以参考项目: https://github.com/MasayukiSuda/ExoPlayerFilter](https://github.com/MasayukiSuda/ExoPlayerFilter

6. 对视频进行多种动效的叠加.

通过使用fbo, 并且对每种过滤器(filter)添加时间段属性, 从而实现动效的叠加.

视频裁剪

引入的开源库是
https://github.com/MasayukiSuda/Mp4Composer-android](https://github.com/MasayukiSuda/Mp4Composer-android
https://github.com/ypresto/android-transcoder/
两个日本人的作品.

视频裁剪同样需要有应用滤镜, 叠加动效的功能. 上面两个项目并不支持, 需要改造扩展.

示例代码

最终给出一份我的项目代码demo
https://github.com/shaopx/VideoClipEditViewTest

资源列表

1.http://bigflake.com/mediacodec/
这个网址列出的cts测试用例, 可以说是最全面, 最正确的是安卓平台硬解码使用范例了.
对应一篇简单翻译过的中文文章
https://www.jianshu.com/p/e6c683d6dbbe

1. 帧缓冲技术简介
   https://blog.csdn.net/jxw167/article/details/54985183
   https://blog.csdn.net/junzia/article/details/53861519
   https://www.jianshu.com/p/78a64b8fb315
   https://www.jianshu.com/p/1da4a843e1b2

2. Surface, SurfaceTexture, OpenglEs , 安卓平台上surface及相关概念的介绍
   https://source.android.com/devices/graphics/arch-sf-hwc

3. 关于opengl 着色器的简单介绍
   https://blog.jayway.com/2009/12/04/opengl-es-tutorial-for-android-part-ii-building-a-polygon/

4. 通过MediaCodec播放音视频的项目
   https://github.com/saki4510t/AudioVideoPlayerSample
   https://github.com/googlesamples/android-BasicMediaDecoder

5. 通过MediaPlayer + SurfaceTexture 播放视频
   https://github.com/crossle/MediaPlayerSurface

6. 一份视频软解码压缩
   https://github.com/fishwjy/VideoCompressor
   关于isoparser: 这里是另一个文章: https://blog.csdn.net/qq1263292336/article/details/73197456

7. 各种模仿抖音的动效, 着色器实现的
   https://www.jianshu.com/u/fd6f2b25d0f4
   https://www.jianshu.com/p/5bb7f2a0da90

8. 使用Camera2 添加opengl效果的示例:https://github.com/aleksas/androidGlesCamera2
   https://github.com/googlecreativelab/shadercam/