Android MediaCodec[官网翻译]

Google中国开发者网站

MediaCodec是用来访问系统底层编解码器的一个类,通常与MediaExtractor, MediaSync, MediaMuxer, MediaCrypto, MediaDrm, Image, Surface, AudioTrack等一起使用。作为与底层编解码器交流的工作类,MediaCodec的一般数据流图如下[官网图]:

Android MediaCodec[官网翻译]_第1张图片

客户端为 MediaCodec提供需要编解码的数据[存在输入缓存区], MediaCodec与底层编解码器交互,拿到处理后结果填充在输出缓存区供客户端使用,当前这种处理过程是异步的。


编解码器简介

数据类型

编解码器支持三种数据类型:压缩数据原始音频数据原始视频数据,以上三种数据都可以使用ByteBuffer进行处理,需要注意的是对于原始视频数据我们应该使用Surface以提高编解码器性能,Surface可以直接使用本地视频缓冲区中的内容以规避将其映射或复制到ByteBuffer内,因此Surface更高效。通常情况下, 使用Surface时我们不能访问原始视频数据,不过我们可以通过ImageReader拿到一个不安全的解码数据帧。在ByteBuffer模式下,一些本地缓存数据可能被映射到ByteBuffer内,此时我们可以使用Image/getInput/OutputImage(int)来获取视频数据中的某一帧,这样仍然会比使用ByteBuffer高效。

压缩缓冲区

解码缓冲区和编码缓冲区中包含了按照特定格式生成的压缩数据,如果是视频类型,通常包含着视频中的某一帧压缩数据,如果是音频类型,则包含着一个可访问的音频单元(一个编码的音频单元通常包含几毫秒这种音频单元),但这个要求并不是特别高,有时缓冲区中也可能含有多个这样的音频单元,在这两种情况下,缓存不会在任意的字节边界上开始或结束,而是在帧或可访问单元的边界上开始或结束。

原始音频缓冲区

原始音频数据缓冲区包含完整的PCM音频数据帧,每一个音频数据帧都是按照通道顺序传递的每一个通道的样本数据,同时音频数据帧也是一个按照本机字节顺序的16位带符号整数。PCM时一种音频编码格式。
我们可以通过如下方式使用MediaCodec获取音频数据帧:

 short[] getSamplesForChannel(MediaCodec codec, int bufferId, int channelIx) {
   //获取输出缓存区的ByteBuffer
   ByteBuffer outputBuffer = codec.getOutputBuffer(bufferId);
   MediaFormat format = codec.getOutputFormat(bufferId);
   ShortBuffer samples = outputBuffer.order(ByteOrder.nativeOrder()).asShortBuffer();
   int numChannels = formet.getInteger(MediaFormat.KEY_CHANNEL_COUNT);
   if (channelIx < 0 || channelIx >= numChannels) {
     return null;
   }
   short[] res = new short[samples.remaining() / numChannels];
   for (int i = 0; i < res.length; ++i) {
     res[i] = samples.get(i * numChannels + channelIx);
   }
   return res;
 }

原始视频缓冲区

ByteBuffer模式下,视频缓存(video buffers)根据它们的颜色格式(color format)进行展现。你可以通过调用getCodecInfo().getCapabilitiesForType(…).colorFormats方法获得编解码器支持的颜色格式数组。视频编解码器可以支持三种类型的颜色格式:

  • 本地原始视频格式:这种格式通过COLOR_FormatSurface标记,并可以与输入或输出Surface一起使用;
  • 灵活的YUV缓存格式:(例如:COLOR_FormatYUV420Flexible)利用一个输入或输出Surface,或在在ByteBuffer模式下,可以通过调用getInput/OutputImage(int)方法使用这些格式;
  • 其他特定的格式:通常只在ByteBuffer模式下被支持。有些颜色格式是特定供应商指定的。其他的一些被定义在 MediaCodecInfo.CodecCapabilities中。这些颜色格式同flexible format相似,你仍然可以使用getInput/OutputImage(int)方法;

从Android5.1以后,所以的视频编解码器均支持YUV格式。

在旧设备上获取原始视频的ByteBuffer

在Android5.0和 Image API支持之前,我们可以通过KEY_STRIDE和KEY_SLICE_HEIGHT这两个输出格式值来理解原始输出缓冲区的布局。

这里要注意在有些设备上slice-height的值为0,这样可能导致slice-height和视频帧的高度一样,或者slice-height的值会被指定成视频帧高度相关的值(通常是2的整数倍),然而我们并没有一个标准的或者简单的方式去告知slice-height的正确值,此外,垂直方向上的U分量也没有指定或定义,通常情况下该值是slice-height的一半。

KEY_WIDTH 和KET_HEIGHT指定了视频帧的宽度和高度,然而对于大多数视频帧而言,宽高取决于'crop rectangle'.

可以通过下列的key从输出格式中获取crop rectangle,如果不存在这些值,视频就是整个视频帧,crop rectangle作用于任何旋转操作之前,'crop-left','crop-top','crop-rigt','crop-bottom'四个值分别指定了视频帧的最大最小x,y方向的值,随后可以通过如下代码计算视频帧的完整宽高(旋转前):

 MediaFormat format = decoder.getOutputFormat(…);
 int width = format.getInteger(MediaFormat.KEY_WIDTH);
 if (format.containsKey("crop-left") && format.containsKey("crop-right")) {
     width = format.getInteger("crop-right") + 1 - format.getInteger("crop-left");
 }
 int height = format.getInteger(MediaFormat.KEY_HEIGHT);
 if (format.containsKey("crop-top") && format.containsKey("crop-bottom")) {
     height = format.getInteger("crop-bottom") + 1 - format.getInteger("crop-top");
 }

这里也要注意BuffeInfo.offset并不是在我们设备上都是一致的,有些设备上,offset指向crop rectangle的左顶点,有些设备上指向的是整个视频帧的左顶点。

MediaCodec状态变化

参考官网文件描述,我绘制了如下MediaCodec生命周期图:


Android MediaCodec[官网翻译]_第2张图片
这里写图片描述

如上图所示,当我们使用工厂方法创建一个MediaCodec时,该MediaCodec对象处于Uninitialized状态,通过调用configure函数使其转入Configured状态[需要配合使用MediaFormat],示例代码如下:

//create MediaCodec use factory mothod
mEncoder = MediaCodec.createEncoderByType(MIME_TYPE);
   //MediaCodec configure
   MediaFormat format = MediaFormat.createVideoFormat(MIME_TYPE, mWidth, mHeight);
    format.setInteger(MediaFormat.KEY_COLOR_FORMAT,
            MediaCodecInfo.CodecCapabilities.COLOR_FormatSurface);
    format.setInteger(MediaFormat.KEY_BIT_RATE, mBitRate);
    format.setInteger(MediaFormat.KEY_FRAME_RATE, FRAME_RATE);
    format.setInteger(MediaFormat.KEY_I_FRAME_INTERVAL, IFRAME_INTERVAL);
    mEncoder.configure(format, null, null, MediaCodec.CONFIGURE_FLAG_ENCODE);

其中MIME_TYPE可以有以下几种情形:


  • "video/x-vnd.on2.vp8" - VP8 video (i.e. video in .webm)
  • "video/x-vnd.on2.vp9" - VP9 video (i.e. video in .webm)
  • "video/avc" - H.264/AVC video
  • "video/hevc" - H.265/HEVC video
  • "video/mp4v-es" - MPEG4 video
  • "video/3gpp" - H.263 video
  • "audio/3gpp" - AMR narrowband audio
  • "audio/amr-wb" - AMR wideband audio
  • "audio/mpeg" - MPEG1/2 audio layer III
  • "audio/mp4a-latm" - AAC audio (note, this is raw AAC packets, not packaged in LATM!)
  • "audio/vorbis" - vorbis audio
  • "audio/g711-alaw" - G.711 alaw audio
  • "audio/g711-mlaw" - G.711 ulaw audio

随后调用MediaCodec#start方法使其进入Executing状态,这时编解码器就开始准备工作了,当需要停止编解码时,可以调用MediaCodec#stop方法,调用MediaCodec#reset方法可以将编解码器回置到Uninitiallized状态,使用完编解码器一定要调用MediaCodec#release方法释放资源。

创建MediaCodec

在上一部分简单介绍了MediaCodec的创建,除了调用public static MediaCodec createDecoderByType(@NonNull String mimeType)创建MediaCodec对象外,我们还可以通过使用MediaCodecList来获取一个MediaCodec对象,步骤如下:
1.首先使用MediaExtractor.getTrackFormat来获得一个你需要的MediaFormat对象,随后调用MediaFormat.setFeatureEnabled为其添加特定的属性支持
2.按照现有的MediaFormat对象获取可解码的MediaCodec 名称[使用MediaCodecList.findDecoderForFormat],随后使用createByCodecName(String)创建一个编解码器

注意在Android5.0以上,提交给MediaCodecList.findDecoder/EncoderForFormatMediaFormat对象中不能包含帧率信息,可以通过MediaFormat.setString(MediaFormat.KEY_FRAME_RATE, null)来清除当前存在的所有帧率信息。

创建安全的解码器(Creating secure decoders)

在Android 4.4(KITKAT_WATCH)及之前版本,安全的编解码器(secure codecs)没有被列在MediaCodecList中,但是仍然可以在系统中使用。安全编解码器只能够通过名字进行实例化,其名字是在常规编解码器的名字后附加.secure标识(所有安全编解码器的名字都必须以.secure结尾),调用createByCodecName(String)方法创建安全编解码器时,如果系统中不存在指定名字的编解码器就会抛出IOException异常。
  
  从Android 5.0(LOLLIPOP)及之后版本,你可以在媒体格式中使用FEATURE_SecurePlayback属性来创建一个安全编解码器。

最新文章改在微信公众号上推送,有需要的小伙伴可以关注一波

Android MediaCodec[官网翻译]_第3张图片
这里写图片描述

你可能感兴趣的:(Android MediaCodec[官网翻译])