最简单的MediaCodec和MediaExtractor解码并播放视频

MediaCodec class can be used to access low-level media codecs, i.e. encoder/decoder components. It is part of the Android low-level multimedia support infrastructure.
上面是MediaCodec的简介~~~

话不多说，直接上解码的流程图。

看着很复杂，其实都是顺序的步骤，需要代码的可以直接拉到最底下能看到全部代码，或者去github看完整代码。

MediaExtractor

如字面意思，多媒体提取器，它在Android的音视频开发里主要负责提取视频或者音频中的信息和数据流(例如将视频文件,剥离出音频与视频)，也就是提取&解封装。
初始化步骤：

设置文件path。
找到要处理的音频帧/视频帧的索引index。
选择要处理的帧，之后只会返回对应的帧信息。

MediaCodec

解码器作用就是解码，拿到MediaExtractor给的每一帧，解出可以显示或者处理的数据帧用来显示或者二次处理。
初始化步骤：

通过类型生成MediaCodec。
根据MediaExtractor得到的信息生成MediaFormat(当然手动生成也可以)配置。
start进入running状态，准备解码

其实跟FFMpeg的解码顺序很像，拿到文件信息，解封装找到需要处理的音视频帧Index，根据帧Index生成对应的解码器，开始解码。

解码流程

MediaCodec的主要方法有下面几个：

dequeueInputBuffer() 返回值是一个int值，这个值表示返回的是MediaCodec的第几个输入缓存。比如有4个InputBuffer，这个int可能会依次的0.1.2.3的顺序来返回，告诉我们可以往哪个buffe里面放数据，同时可以使用这个index得到一个ByteBuffer来放数据。
queueInputBuffer() 将得到的ByteBuffer传给MediaExtractor，使用MediaExtractor将解码后的数据塞到ByteBuffer里面，之后再调用enqueue方法。
dequeueOutputBuffer() 返回值作用用来标记当前的解码状态。
queueOutputBuffer() 获取一个输出ByteBuffer，可以做相应处理。
releaseOutputBuffer() 将之前获取的输出ByteBuffer释放掉，以供缓冲区的循环使用。

用到的MediaExtractor的方法主要有两个：

readSampleData() 读取一帧数据交给MediaCodec解码。
advance()移动到下一帧，等待下一次read。

上面是播放的时候用到的主要的方法。这时候启动线程播放循环，就可以将画面显示在跟MediaCodec绑定的surface上了。
但很多时候我们并不限于仅仅是播放一个视频而已，这样的话跟用VideoView有啥区别？我们想拿到yuv数据，然后不管是后续保存还是做二次处理都很方便。

那么我们在调用MediaCodec.configure的时候就不能传surface，直接传null，同时可以指定YUV的格式:

        videoMediaFormat.setInteger(MediaFormat.KEY_COLOR_FORMAT, MediaCodecInfo.CodecCapabilities.COLOR_FormatYUV420Flexible);
        MediaCodec videoCodec = MediaCodec.createDecoderByType(videoMediaFormat.getString(MediaFormat.KEY_MIME));
        videoCodec.configure(videoMediaFormat, null, null, 0);
        videoCodec.start();

同时可以使用mediaCodec.getOutputImage得到一个Image，这样就可以得到YUV数据了，对Image不熟悉的可以移步Image中获得YUV数据及YUV格式理解，可以看到getDataFromImage方法。

            int outputBufferIndex = videoCodec.dequeueOutputBuffer(videoBufferInfo, TIMEOUT_US);
            switch (outputBufferIndex) {
...
                default:
...
// 获取一个Image
                    Image image = videoCodec.getOutputImage(outputBufferIndex);
// 从Image中获取byte[]数据
                    byte[] i420bytes = CameraUtil.getDataFromImage(image, CameraUtil.COLOR_FormatI420);
                    FileUtils.writeToFile(i420bytes, yuvPath, true);
                    byte[] nv21bytes = BitmapUtil.I420Tonv21(i420bytes, width, height);
                    Bitmap bitmap = BitmapUtil.getBitmapImageFromYUV(nv21bytes, width, height);
...
                    // 将该ByteBuffer释放掉，以供缓冲区的循环使用。
                    videoCodec.releaseOutputBuffer(outputBufferIndex, true);
                    break;
            }

下面是完整代码，如果想看更完整的代码，可以点这里:AndroidMediaCodec

public class SimpleDecodeVideoPlayer {
    public void init(String mp4Path, Surface surface) {
        new Thread(() -> {
            try {
                initInternal(mp4Path, surface);
            } catch (IOException e) {
                LogUtil.d(MediaCodecUtil.TAG, e.toString());
                e.printStackTrace();
            }
        }).start();
    }

    private void initInternal(String mp4Path, Surface surface) throws IOException {
        if (TextUtils.isEmpty(mp4Path)) {
            return;
        }
        MediaExtractor mediaExtractor = new MediaExtractor();
        mediaExtractor.setDataSource(mp4Path);
        MediaFormat videoMediaFormat = null;
        int videoTrackIndex = -1;
        for (int i = 0; i < mediaExtractor.getTrackCount(); i++) {
            MediaFormat mediaFormat = mediaExtractor.getTrackFormat(i);
            String mime = mediaFormat.getString(MediaFormat.KEY_MIME);
            if (mime.startsWith("video/")) {
                videoMediaFormat = mediaFormat;
                videoTrackIndex = i;
            }
            LogUtil.d(MediaCodecUtil.TAG, mime);
        }
        if (videoMediaFormat == null) {
            return;
        }

        int width = videoMediaFormat.getInteger(MediaFormat.KEY_WIDTH);
        int height = videoMediaFormat.getInteger(MediaFormat.KEY_HEIGHT);
        long time = videoMediaFormat.getLong(MediaFormat.KEY_DURATION);
        LogUtil.d(MediaCodecUtil.TAG, "width::" + width + " height::" + height + " time::" + time);
        // 只会返回此轨道的信息
        mediaExtractor.selectTrack(videoTrackIndex);

//        videoMediaFormat.setInteger(MediaFormat.KEY_COLOR_FORMAT, MediaCodecInfo.CodecCapabilities.COLOR_FormatYUV420Flexible);
        MediaCodec videoCodec = MediaCodec.createDecoderByType(videoMediaFormat.getString(MediaFormat.KEY_MIME));
        videoCodec.configure(videoMediaFormat, surface, null, 0);
        videoCodec.start();

        LogUtil.d(MediaCodecUtil.TAG, "getOutputFormat::" + videoCodec.getOutputFormat().toString());

        MediaCodec.BufferInfo videoBufferInfo = new MediaCodec.BufferInfo();

        boolean isVideoEOS = false;
        boolean end = false;
        long startMs = System.currentTimeMillis();
        while (!end) {
            //将资源传递到解码器
            if (!isVideoEOS) {
                // dequeue:出列，拿到一个输入缓冲区的index，因为有好几个缓冲区来缓冲数据，所以需要先请求拿到一个InputBuffer的index，-1表示暂时没有可用的
                int inputBufferIndex = videoCodec.dequeueInputBuffer(-1);
                if (inputBufferIndex >= 0) {
                    // 使用返回的inputBuffer的index得到一个ByteBuffer，可以放数据了
                    ByteBuffer inputBuffer = videoCodec.getInputBuffer(inputBufferIndex);
                    // 使用extractor往MediaCodec的InputBuffer里面写入数据，-1表示已全部读取完
                    int sampleSize = mediaExtractor.readSampleData(inputBuffer, 0);
                    LogUtil.d(MediaCodecUtil.TAG, "inputBufferIndex::" + inputBufferIndex + " sampleSize::" + sampleSize + " mediaExtractor.getSampleTime()::" + mediaExtractor.getSampleTime());
                    if (sampleSize < 0) {
                        videoCodec.queueInputBuffer(inputBufferIndex, 0, 0, 0,
                                MediaCodec.BUFFER_FLAG_END_OF_STREAM);
                        isVideoEOS = true;
                    } else {
                        // 填充好的数据写入第inputBufferIndex个InputBuffer，分贝设置size和sampleTime，这里sampleTime不一定是顺序来的，所以需要缓冲区来调节顺序。
                        videoCodec.queueInputBuffer(inputBufferIndex, 0, sampleSize,
                                mediaExtractor.getSampleTime(), 0);
                        // 在MediaExtractor执行完一次readSampleData方法后，需要调用advance()去跳到下一个sample，然后再次读取数据
                        mediaExtractor.advance();
                        isVideoEOS = false;
                    }
                }
            }

            // 获取outputBuffer的index，
            int outputBufferIndex = videoCodec.dequeueOutputBuffer(videoBufferInfo, 10000);
            switch (outputBufferIndex) {
                case MediaCodec.INFO_OUTPUT_FORMAT_CHANGED:
                    LogUtil.v(MediaCodecUtil.TAG, outputBufferIndex + " format changed");
                    break;
                case MediaCodec.INFO_TRY_AGAIN_LATER:
                    LogUtil.v(MediaCodecUtil.TAG, outputBufferIndex + " 解码当前帧超时");
                    break;
                case MediaCodec.INFO_OUTPUT_BUFFERS_CHANGED:
                    //outputBuffers = videoCodec.getOutputBuffers();
                    LogUtil.v(MediaCodecUtil.TAG, outputBufferIndex + " output buffers changed");
                    break;
                default:
                    //直接渲染到Surface时使用不到outputBuffer
                    //ByteBuffer outputBuffer = videoCodec.getOutputBuffer(outputBufferIndex);
                    //如果缓冲区里的可展示时间>当前视频播放的进度，就休眠一下
                    sleepRender(videoBufferInfo, startMs);
                    // 将该ByteBuffer释放掉，以供缓冲区的循环使用。
                    videoCodec.releaseOutputBuffer(outputBufferIndex, true);
                    break;
            }

            if ((videoBufferInfo.flags & MediaCodec.BUFFER_FLAG_END_OF_STREAM) != 0) {
                LogUtil.v(MediaCodecUtil.TAG, "buffer stream end");
                end = true;
            }
        }//end while
        mediaExtractor.release();
        videoCodec.stop();
        videoCodec.release();
    }

    private void sleepRender(MediaCodec.BufferInfo audioBufferInfo, long startMs) {
        while (audioBufferInfo.presentationTimeUs / 1000 > System.currentTimeMillis() - startMs) {
            try {
                Thread.sleep(10);
            } catch (InterruptedException e) {
                e.printStackTrace();
            }
        }
    }

}

参考：
Android视频编解码
Android MediaCodec stuff

最简单的MediaCodec和MediaExtractor解码并播放视频

MediaExtractor

MediaCodec

解码流程

你可能感兴趣的:(最简单的MediaCodec和MediaExtractor解码并播放视频)