OpenGL ES +MediaCodec音视频采集录制录

对于一个视频的录制，包括以下几个部分：
1，视频图像的采集
2，视频录像的编码录制
3，音频的采集
4，音频的编码录制
5，音视频的合成

涉及到的技术包括OpenGL ES、EGL、MediaCodec、AudioRecord、MediaMuxer。

一、视频的采集

这里使用OpenGL ES和GLSurfaceView进行摄像头画面的预览，视频的采集通过创建EGL环境。

通过MediaCodec创建一个surface，然后通过创建一个新的egl环境共享预览的EglContext和这个surface绑定，渲染fbo绑定的纹理，即可录制。

EGL14与EGL10区别：
EGL14是在Android 4.2(API 17)引入的，换言之API 17以下的版本不支持EGL14。
EGL10不支持OpenGL ES 2.x，因此在EGL10中某些相关常量参数只能用手写硬编码代替，例如EGL14.EGL_CONTEXT_CLIENT_VERSION以及EGL14.EGL_OPENGL_ES2_BIT等等。

1.1 EGL环境搭建

1.OpenGL ES 是Android绘图API，但OpenGL ES是平台通用的，在特定设备上使用需要一个中间层做适配，这个中间层就是EGL。

2.OpenGL ES 本质上是一个图形渲染管线的状态机，而 EGL 则是用于监控这些状态以及维护 Frame buffer 和其他渲染 Surface 的外部层，它管理图形上下文、表面/缓冲区绑定和呈现同步。

image.png

EGL架构图中的核心组成：
Display(EGLDisplay) ：是对实际显示设备的抽象。
Surface（EGLSurface）：是对用来存储图像的内存区域 FrameBuffer 的抽象，包括 Color Buffer， Stencil Buffer ，Depth Buffer。
Context (EGLContext) ：存储 OpenGL ES绘图的一些状态信息。

EGL环境创建主要关键步骤：
①、创建EGLDisplay，得到默认的显示设备(窗口)

mEglDisplay = EGL14.eglGetDisplay(EGL14.EGL_DEFAULT_DISPLAY);

②、初始化显示设备

        boolean initResult = EGL14.eglInitialize(mEglDisplay,version,0,version,1);

③、配置显示设备的属性

        boolean configResult = EGL14.eglChooseConfig(mEglDisplay, eglConfigAttributes, 0, configs, 0, configs.length,

④、创建EglContext上下文

        int[] contextAttributeList = {
                EGL14.EGL_CONTEXT_CLIENT_VERSION,2,
                EGL14.EGL_NONE
        };

        mEglContext= EGL14.eglCreateContext(mEglDisplay,mEglConfig,eglContext ,contextAttributeList,0);

此处因为，视频录制需要创建的EGL上下文，需要获取摄像头预览时的EglContext上下文来进行创建。
⑤、创建Surface

        mEglSurface = EGL14.eglCreateWindowSurface(mEglDisplay, mEglConfig, surface, surfaceAttribList, 0);

此处的surface由MediaCodec创建得到。
⑥、绑定EglContext和Surface到显示设备

        boolean curResult = EGL14.eglMakeCurrent(mEglDisplay,mEglSurface,mEglSurface,mEglContext);

1.2 MediaCodec创建Surface绘制编码

private MediaCodec mMediaCodec;
private Surface mSurface;
mSurface = mMediaCodec.createInputSurface();

创建MediaCodec的输入Surface，然后通过1.2中创建EGL上下文环境，OpenGL将数据渲染到这个Surface上，MediaCodec就可以在内部拿到视频数据，进行视频编码了。

二、音频的采集

音频的采集使用AudioRecord进行。android中音频的采集一般使用AudioRecord或者MediaRecord。AudioRecord可以采集到一帧帧的PCM数据，而MediaRecorder可以将采集到的音频数据转化为编码格式保存。而此处场景因为需要将音频和视频混合，所以使用AudioRecord。

AudioRecord的初始化需要先创建一个AudioRecord实例。

    public AudioRecord(int audioSource, int sampleRateInHz, int channelConfig, int audioFormat,
            int bufferSizeInBytes)

构造函数参数说明：
audioSource：音频输入源，一般使用MediaRecorder.AudioSource.MIC 麦克风。
sampleRateInHz：音频的采样频率，通常取值44100(44.1kHz)。
channelConfig：采集几个声道。双声道立体声用AudioFormat.CHANNEL_IN_STEREO。
audioFormat：指定采样PCM数据的采样格式。常用值有 ENCODING_PCM_8BIT、ENCODING_PCM_16BIT和ENCODING_PCM_FLOAT，值得强调的是ENCODING_PCM_16BIT可以保证兼容大部分Andorid手机。
bufferSizeInBytes：音频采集过程中需要的缓存区大小。一般根据采样率，通道数，已经采样格式来确定。

bufferSize = AudioRecord.getMinBufferSize(sampleRate, channels, audioFormat);

当开启音频采集后，通过循环不停调用AudioRecord的read函数来获取pcm数据

while(state == RECORDING){ //状态判断
    byte[] buffer = new byte[bufferSize];
                int readRecord = audioRecord.read(buffer, 0, bufferSize);
}

三、视频和音频的编码

音视频的编码使用MediaCodec。MediaCodec类为开发者提供了能访问到Android底层媒体Codec（Encoder/Decoder）的能力，它是Android底层多媒体基础架构的一部分。

image.png

MediaCodec 架构上采用了2个缓冲区队列，异步处理数据，并且使用了一组输入输出缓存。
你请求或接收到一个空的输入缓存（input buffer），向其中填充满数据并将它传递给编解码器处理。编解码器处理完这些数据并将处理结果输出至一个空的输出缓存（output buffer）。

MediaCodec的状态转换如下：

image.png

在MediaCodec的生命周期内存在三种状态：Stopped, Executing or Released，其中
　　Stopped状态包含三种子状态：Uninitialized, Configured and Error
　　Executing状态包含三种子状态：Flushed, Running and End-of-Stream

当通过 MediaCodec.createByCodecName(...) or MediaCodec.createDecoderByType(...) or MediaCodec.createEncoderByType(...)三种方法中的任一种创建一个MediaCodec对象实例后，Codec将会处于 Uninitialized 状态；

2. 当你调用 MediaCodec.configure(...)方法对Codec进行配置后，Codec将进入 Configured 状态；

3. 之后可以调用 MediaCodec.start() 方法启动Codec，Codec会转入 Executing 状态，start后Codec立即进入 Flushed 子状态，此时的Codec拥有所有的input and output buffers，Client无法操作这些buffers；

4. 一旦第一个input buffer 出队列，也即Client通过调用 MediaCodec.dequeueInputBuffer(...)请求得到了一个有效的input buffer index, Codec立即进入到了 Running 子状态，在这个状态下Codec会进行实际的数据处理(解码、编码)工作，度过它生命周期的主要阶段；

5. 当输入端入队列一个带有 end-of-stream 标记的input buffer时(queueInputBuffer(EOS))，Codec将转入 End of Stream 子状态。在此状态下，Codec不再接受新的input buffer数据，但仍会处理之前入队列而未处理完的input buffer并产生output buffer，直到end-of-stream 标记到达输出端，数据处理的过程也随即终止；

6. 在 Executing状态下可以调用 MediaCodec.flush()方法使Codec进入 Flushed 子状态；

7. 在 Executing状态下可以调用 MediaCodec.stop()方法使Codec进入 Uninitialized 子状态,可以对Codec进行重新配置；

8. 极少数情况下Codec会遇到错误进入 Error 状态，可以调用 MediaCodec.reset() 方法使其再次可用；

9. 当MediaCodec数据处理任务完成时或不再需要MediaCodec时，可使用 MediaCodec.release()方法释放其资源。

主要调用流程：
1,初始化

        // 设置各种编码参数
        MediaFormat format = MediaFormat.createVideoFormat(MediaFormat.MIMETYPE_VIDEO_AVC,
                mWidth, mHeight);
        //颜色空间 从 surface当中获得
        format.setInteger(MediaFormat.KEY_COLOR_FORMAT, MediaCodecInfo.CodecCapabilities
                .COLOR_FormatSurface);
        int bitrate = mWidth *mHeight*2;
        //码率
        format.setInteger(MediaFormat.KEY_BIT_RATE, bitrate);
        //帧率
        format.setInteger(MediaFormat.KEY_FRAME_RATE, 30);
        //关键帧间隔-每秒关键帧数
        format.setInteger(MediaFormat.KEY_I_FRAME_INTERVAL, 1);

        //创建编码器
        mMediaCodec = MediaCodec.createEncoderByType(MediaFormat.MIMETYPE_VIDEO_AVC);
        //配置编码器
        mMediaCodec.configure(format, null, null, MediaCodec.CONFIGURE_FLAG_ENCODE);

2，然后调用start()方法开启，从输入队列塞入待编码数据
视频直接从Surface中获取待编码数据

        //这个surface显示的内容就是要编码的画面
        mSurface = mMediaCodec.createInputSurface();

音频则通过AudioRecord采集到的pcm数据，塞入到输入队列中

            int buffIndex = mAudioCodec.dequeueInputBuffer(0);
            presentationTimeUs += (long) (1.0 * buffSize / (sampleRate * channelCount * (audioFormat / 8)) * 1000000.0);
            Log.d(TAG, "pcm一帧时间戳 = " + presentationTimeUs / 1000000.0f);
            mAudioCodec.queueInputBuffer(buffIndex, 0, buffSize, presentationTimeUs, 0);

塞入pcm音频数据时，需要进行音频时间戳的计算。时间戳的单位是微秒。
PCM文件大小=采样率x采样时间x(采样位深/8)x通道数(Bytes)
例如：
数据量Byte= 44100Hz×(16/8)×2×10s=1764 KByte
所以倒转过来，时间戳(时长)计算就是：
presentationTimeUs = (totalBytes / sampleRate/ audioFormat / channelCount / 8 )x100000
最后乘以1000000，转化成微秒。

3，从输出队列中获得编码后的数据

int outputBufferIndex = mAudioCodec.dequeueOutputBuffer(bufferInfo, 0);
if (outputBufferIndex == MediaCodec.INFO_OUTPUT_FORMAT_CHANGED) {
// 通过MediaMuxer添加音轨/视频轨

}else{
  while (outputBufferIndex >= 0) {
    ByteBuffer outputBuffer = mAudioCodec.getOutputBuffer(outputBufferIndex);
     outputBuffer.position(bufferInfo.offset);
     outputBuffer.limit(bufferInfo.offset + bufferInfo.size);

      if (pts == 0) {
               pts = bufferInfo.presentationTimeUs;
       }
      bufferInfo.presentationTimeUs = bufferInfo.presentationTimeUs - pts;
// 音视频合成
      mMuxer.writeSampleData(mCodecState.audioTrackIndex, outputBuffer, bufferInfo);

      mAudioCodec.releaseOutputBuffer(outputBufferIndex, false);
      outputBufferIndex = mAudioCodec.dequeueOutputBuffer(bufferInfo, 0);
  }
}

通过MediaCodec的dequeueOutputBuffer从输出队列中获取编码后的音视频数据。然后通过MediaMuxer进行音视频的合成。

四、音视频的合成

在Android中，可以使用MediaMuxer来封装编码后的视频流和音频流到mp4容器中，MediaMuxer最多仅支持一个视频track和一个音频track。

MediaMuxer的使用必须严格遵循如下顺序：
创建MediaMuxer->addTrack->start->writeSampleData->stop->release
对于音视频的合成，需要当音频和视频track都addTrack之后，才能调用start。
如果顺序不对，或者多次调用start、stop、release，都会导致IllegalStateException。

使用MediaMuxer开发时，可能会经常遇到类似如下错误。Muxer的状态Illegal错误。

java.lang.IllegalStateException: Muxer is not initialized.
    at android.media.MediaMuxer.addTrack(MediaMuxer.java:617)
    at com.example.dj.record.MediaRecorder.codec(MediaRecorder.java:163)

可能的场景是在两个不同的Thread中分别执行音视频的录制+编码，所以需要等待两个线程都执行完addTrack之后，再执行start。

代码：
https://github.com/godtrace12/DOpenglTest.git
参考：https://blog.csdn.net/qq_34760508/article/details/107045337
https://juejin.cn/post/6844903904488996878
https://www.jianshu.com/p/01b374acd6a4
https://blog.csdn.net/gb702250823/article/details/81627503
https://blog.csdn.net/u010126792/article/details/86580878/
https://www.pianshen.com/article/2768765911/
https://blog.csdn.net/liuyizhou95/article/details/89553013

OpenGL ES +MediaCodec音视频采集录制录

一、视频的采集

1.1 EGL环境搭建

1.2 MediaCodec创建Surface绘制编码

二、音频的采集

三、 视频和音频的编码

四、音视频的合成

你可能感兴趣的:(OpenGL ES +MediaCodec音视频采集录制录)

三、视频和音频的编码