1.介绍：
MediaCodec类可用于访问Android底层的媒体编解码器，也就是，编码器/解码器组件。它是Android底层多媒体支持基本架构的一部分（通常与MediaExtractor, MediaSync, MediaMuxer, MediaCrypto, MediaDrm, Image, Surface, 以及AudioTrack一起使用）；MediaCodec作为比较年轻的Android多媒体硬件编解码框架，在终端硬解方案中带来了很大便利。Android源码中的CTS部分也给出了很多可以关于Media编解码的Demo。
2.编码测试
比如CTS测试中代码中的EncoderTest.java
做过Android CTS测试的同学可以搭建Android CTS测试环境并指定测试内容来测试，不是本文的知识范畴。但是我建议自己手动写出实例Demo来测试,这样自己才能更了解MediaCodec框架和使用MediaCodec框架。
测试步骤：
1.MediaCodec支持能力
获取MediaCodec支持的数量，根据MediaCodec的句柄获取MediaCodec支持的编码格式：
MediaCodecList.getCodecCount()
MediaCodecList.getCodecInfoAt(i);
比如通过以下测试代码，就可以知道终端MediaCodec的编码能力：
int n = MediaCodecList.getCodecCount();
for (int i = 0; i < n; ++i) {
MediaCodecInfo info = MediaCodecList.getCodecInfoAt(i);
String[] supportedTypes = info.getSupportedTypes();
if(!info.isEncoder()){
return;
}
boolean mime_support = false;
for (int j = 0; j < supportedTypes.length; ++j) {
Log.d(TAG, "codec info:" + info.getName()+" supportedTypes:" + supportedTypes[j]);
if (supportedTypes[j].equalsIgnoreCase(mime)) {
mime_support = true;
}
}
}
| code | surpport |
|---|---|
| OMX.google.amrnb.encoder | audio/3gpp |
| OMX.google.amrwb.encoder | audio/amr-wb |
| OMX.google.aac.encoder | audio/mp4a-latm |
| OMX.google.flac.encoder | audio/flac |
| OMX.google.mpeg4.encoder | video/mp4v-es |
| OMX.google.h263.encoder | video/3gpp |
| OMX.amlogic.video.encoder.avc | video/avc |
| OMX.google.h264.encoder | video/avc |
| OMX.google.vp8.encoder | video/x-vnd.on2.vp8 |
| AACEncoder | audio/mp4a-latm |
根据上表，可知如需编码H264/AAC的码流，则选择对应video/hevc，audio/mp4a-latm的编码器。需要注意的是针对某一个surpport type可能有多个code库支持，比如：
支持解码video/hevc的就有OMX.amlogic.hevc.decoder.awesome和OMX.google.h265.decoder,在编解码时该优先选择哪个需要看实际调试情况，一般会优先使用某个硬件(如amlogic,mtk等)类型的编解码方案。
2.指定编码格式
MediaFormat.java的配置[http://web.mit.edu/majapw/MacData/afs/sipb/project/android/docs/reference/android/media/MediaFormat.html]
LinkedList formats = new LinkedList();
final int kAACProfiles[] = {
2 /* OMX_AUDIO_AACObjectLC */,
5 /* OMX_AUDIO_AACObjectHE */,
39 /* OMX_AUDIO_AACObjectELD */
};
final int kSampleRates[] = { 8000, 11025, 22050, 44100, 48000 };
final int kBitRates[] = { 64000, 128000 };
for (int k = 0; k < kAACProfiles.length; ++k) {
for (int i = 0; i < kSampleRates.length; ++i) {
if (kAACProfiles[k] == 5 && kSampleRates[i] < 22050) {
// Is this right? HE does not support sample rates < 22050Hz?
continue;
}
for (int j = 0; j < kBitRates.length; ++j) {
for (int ch = 1; ch <= 2; ++ch) {
MediaFormat format = new MediaFormat();
format.setString(MediaFormat.KEY_MIME, "audio/mp4a-latm");
format.setInteger(MediaFormat.KEY_AAC_PROFILE, kAACProfiles[k]);
format.setInteger(MediaFormat.KEY_SAMPLE_RATE, kSampleRates[i]);
format.setInteger(MediaFormat.KEY_CHANNEL_COUNT, ch);
format.setInteger(MediaFormat.KEY_BIT_RATE, kBitRates[j]);
formats.push(format);
}
}
}
}
3.通过指定的编码格式创建MediaCodec对象
MediaCodec codec = MediaCodec.createByCodecName(componentName);
try {
#最重要的一个配置项:format和encode的flag
codec.configure(
format,
null /* surface */,
null /* crypto */,
MediaCodec.CONFIGURE_FLAG_ENCODE);
} catch (IllegalStateException e) {
Log.e(TAG, "codec '" + componentName + "' failed configuration.");
}
#MediaCodec准备就绪
codec.start();
4.mediacode内存区数据处理
ByteBuffer[] codecInputBuffers = codec.getInputBuffers();
ByteBuffer[] codecOutputBuffers = codec.getOutputBuffers();
一起来看一张官方网站的分析图：
编解码器通过处理输入数据来产生输出数据。MediaCodec采用异步方式处理数据，并且使用了一组输入输出缓存（buffer）。在简单的层面，你请求或接收到一个空的输入缓存（buffer），向其中填充满数据并将它传递给编解码器处理。编解码器处理完这些数据并将处理结果输出至一个空的输出缓存（buffer）中。最终，你请求或接收到一个填充了数据的输出缓存（buffer）,使用完其中的数据，并将其释放回编解码器。
int index = codec.dequeueInputBuffer(kTimeoutUs /* timeoutUs */);
codec.queueInputBuffer(index, 0 /* offset */, size, 0 /* timeUs */, 0);
以上两个方法是先从Codec中获取到一个空的buffer，然后填充buffer，排到处理队列中等待处理，buffer的头信息包含编解码配置信息，尾信息包含结束信息
int numBytesSubmitted = 0;
boolean doneSubmittingInput = false;
int numBytesDequeued = 0;
while (true) {
int index;
if (!doneSubmittingInput) {
index = codec.dequeueInputBuffer(kTimeoutUs /* timeoutUs */);
if (index != MediaCodec.INFO_TRY_AGAIN_LATER) {
if (numBytesSubmitted >= kNumInputBytes) {
codec.queueInputBuffer(
index,
0 /* offset */,
0 /* size */,
0 /* timeUs */,
MediaCodec.BUFFER_FLAG_END_OF_STREAM);
doneSubmittingInput = true;
} else {
int size = queueInputBuffer(
codec, codecInputBuffers, index);
numBytesSubmitted += size;
}
}
}
private int queueInputBuffer(MediaCodec codec, ByteBuffer[] inputBuffers, int index) {
ByteBuffer buffer = inputBuffers[index];
buffer.clear();
int size = buffer.limit();
byte[] zeroes = new byte[size];
buffer.put(zeroes);//测试时没有使用有效数据，实际应该put编码前有效的音视频数据
codec.queueInputBuffer(index, 0 /* offset */, size, 0 /* timeUs */, 0);
return size;
}
通过以上方式编码器已经可以根据指定编码格式编码，再看一下如何获取编码后的数据：
MediaCodec.BufferInfo info = new MediaCodec.BufferInfo();
index = codec.dequeueOutputBuffer(info, kTimeoutUs /* timeoutUs */);
codec.releaseOutputBuffer(index, false /* render */);
这三个方法是从Codec获取到一个编解码后的buffer
MediaCodec.BufferInfo info = new MediaCodec.BufferInfo();
index = codec.dequeueOutputBuffer(info, kTimeoutUs /* timeoutUs */);
if (index == MediaCodec.INFO_TRY_AGAIN_LATER) {
} else if (index == MediaCodec.INFO_OUTPUT_FORMAT_CHANGED) {
} else if (index == MediaCodec.INFO_OUTPUT_BUFFERS_CHANGED) {
codecOutputBuffers = codec.getOutputBuffers();
} else {
dequeueOutputBuffer(codec, codecOutputBuffers, index, info);
numBytesDequeued += info.size;
if ((info.flags & MediaCodec.BUFFER_FLAG_END_OF_STREAM) != 0) {
if (VERBOSE) {
Log.d(TAG, "dequeued output EOS.");
}
break;
}
if (VERBOSE) {
Log.d(TAG, "dequeued " + info.size + " bytes of output data.");
}
}
private void dequeueOutputBuffer(
MediaCodec codec, ByteBuffer[] outputBuffers,
int index, MediaCodec.BufferInfo info) {
codec.releaseOutputBuffer(index, false /* render */);
}
5.使用MediaMuxer音视频合成
在使用MediaMuxer混合的时候,主要的难点就是控制视频数据和音频数据的同步添加,和状态的判断;可以参考CTS集中的MediaMuxerTest.java/DecodeEditEncodeTest，注意解码时的解码格式和编码时的编码格式需保持一致，才能正常控制buffer大小。
3.结束语
该篇先介绍大致的编码知识，计划下一篇会详细的介绍下把一个文件解码后再重新编码为指定格式，最后合成为新的视频文件，最近正在研究这个方向，后续持续更新，感谢关注！