Android 使用MediaCodec获取视频帧序列的尝试

背景

    在视频编辑中，常常需要展示一列视频帧。从视频中抽取一些视频帧的方法，Android 端可以通过MediaMetadataRetriever 获取，不过这中方法比较慢，获取一帧大概需要300～500ms如果视频文件比较大，耗时还要更长。还可以通过ffmpeg，不过需要引入ffmpeg库，这个库比较大，精简起来也比较繁琐。本篇文章介绍另一种方案，利用MediaCodec解码取帧。

原理

    MediaCodec类可以用于使用一些基本的多媒体编解码器（音视频编解码组件），利用MediaCodec解码取帧的原理就是，解码时，通过getOutputImage 拿到YUV420格式的视频帧，再对视频帧进行一些处理、转化成想要的bitmap 或保存成图片文件。此方案获取每帧耗时30～50ms，效率是MediaMetadataRetriever的10倍以上（注：getOutputImage为API 21才有的方法）

流程

一、创建MediaExtractor和MediaCodec

     其中MediaFormat.KEY_COLOR_FORMAT 需要设置成COLOR_FormatYUV420Flexible，MediaCodec的所有硬件解码都支持这种格式，但这样解码后得到的YUV420的具体格式又会因设备而异，如YUV420Planar，YUV420SemiPlanar，YUV420PackedSemiPlanar等。然而又得益于API 21对MediaCodec加入的Image类的支持，可以实现简单且高效的任意YUV420格式向如NV21，I420等格式的转换，这样就得到了一个统一的、可以预先指定的YUV格式视频帧。再进一步，YuvImage类提供了一种高效的NV21格式转换为Bitmap。

开始解码，获取帧序列，如果是要获取所有帧序列，则不需要使用seekTo方法。

getOutputImage格式是YUV_420_888，需要转换成NV21

使用YuvImage 加载nv21,转化成Bitmap用于显示。

总结与问题

    此种方案对于需要将获取每一帧视频的用户来说，无疑是非常高效的。如果是要获取视频里面几帧，或者是截取某一帧数据，就会用到extractor.seekTo 方法，跳到指定时间戳。因视频源的差异，seekTo方法可能无法精确定位到指定帧。

     seekTo 方法有两个参数，timeUs是要seek的时间戳，mode是seek的模式，可以是SEEK_TO_PREVIOUS_SYNC,SEEK_TO_CLOSEST_SYNC,SEEK_TO_NEXT_SYNC，分别是seek指定帧的上一帧，最近帧和下一帧。而在每次seekTo方法调用后，MediaCodec必须从关键帧开始解码。因此seekTo方法只会seek到最近的／上一个／下一个关键帧，也就是I-Frame(key frame = I frame = sync frame)。之所以要从关键帧开始解码，是因为每一帧不一定是单独编码的，只有I frame才是帧内编码，而P, B frame都是要参考别的帧来进行编码，因此单独拿出来是不完整的一帧。

        有些视频源关键帧间隔比较近可能每两三帧就有一帧是关键帧，这样seekTo过去就没什么问题，可是有些视频关键帧间隔很远，可能一整段视频都没有几帧是关键帧的。这种情况下，seekTo过去，可能就取出一些重复帧出来。

    事实上，即使使用MediaMetadataRetriever的getFrameAtTime方法获取帧，也同样会有这种问题。

   优化方向，如果视频源是自己录制的，大可以在录制时设置好关键帧间隔，mediaFormat.setInteger(MediaFormat.KEY_I_FRAME_INTERVAL, 0)。对于无法控制的视频源，不用seekTo 方法跳到指定时间戳，而是正常的解码每一帧，只计算需要在哪些帧上读取图片即可。只是这种方法，只适用用于时长比较短的视频。