Android音视频录制（4）——变速录制

概述

在看本篇文章之前请务必先查看这面三篇文章：

第一篇：Android音视频录制概述
第二篇Android音视频录制（1）——Surface录制
第三篇Android音视频录制（2）——Buffer录制

视频变速是一个非常有趣的东西，在我们平时看电影的时候，导演对某些镜头进行快放（比如动作片的拳脚片段），某些镜头进行慢放（比如一些火山喷发之类的），从而造成非常震撼的影视效果。最近非常火的一些app，能让普通群众都能拍出很精彩的快速/慢速的视频，而很多人对这种视频效果都感觉很赞，下面我就来讲述下视频录制过程中如何变速录制。

下面我先说下视频变速的原理：快速录制就是“丢”帧，慢速录制就是“加”帧，但帧率都保持不变，变的是时长。比如我4秒的视频，帧率是20帧/秒,那一共是80帧,把每一帧都编码0，1，2…，78，79，假设我定义的快速即为2倍变速，即4秒最后变成2秒的视频，视频帧的变化就是丢弃掉一半的帧，只取0， 2, 4…76, 78合成2秒的视频，帧率依然是20帧/秒。慢速录制也以1/2速度为例，不过慢速录制相对复杂些，毕竟删除总是比创建容易，4秒的视频最终要变成8秒的视频，帧率不变，所以肯定要“加”帧，其实就是复制帧，依然是0，1，2…78,79的视频，对每一帧复制一遍，重新编码，最后编程0，0A，1，1A….78，78A，79，79A一共160帧的8秒视频。这其中最最核心的点在哪里？三个字：时间戳。快速录制的时候，你需要把正常第2n的时间戳设置为n, 慢速录制的时候，需要把时间戳为n的帧变成2n。当然，talk is cheap, show me the code。下面我们看看如何实现。

代码的实现也是分两部分，第一部分是，Surface变速录制，第二部分是，Buffer变速录制。快速变速以2倍速为例，慢速变速以1/2倍速为例

Surface变速录制

在Android音视频录制（1）——Surface录制一文中并没有说到任何关于时间戳的代码，其实因为surface录制的时候egl默认给我们加上了时间戳，但是我们依然可以通过egl设置我们指定的时间戳，最终达到我们的目的。

首先定义几种模式：

public enum  Speed{
        NORMAL,//正常速度
        SLOW,//慢速：0.5倍速
        FAST//快速：2倍速
    }

然后在VideoSurfaceEncoder中加入几个变量：具体看注释

    private Speed mSpeed;//模式：快速/慢速/常速
    private int mFrameIndex = 0;//实际编码器渲染帧数
    private long mFirstTime;//第一帧渲染时间
    private long mCurrPTS;//当前正在渲染的帧的时间戳
    private int mDrainIndex = 0;//摄像头传递过来帧数

egl绘制的时候代码修改为如下，快速录制即每两次丢弃一次，慢速录制则是每次绘制重复绘制多一次

 //egl 绘制
    public void render(float[] surfaceTextureMatrix, float[] mvpMatrix) {
        if(mSpeed == Speed.NORMAL) {//常速录制
            draw(surfaceTextureMatrix, mvpMatrix);
        }else if(mSpeed == Speed.SLOW){//慢速录制，则绘制两次
            mCurrPTS = getPTS();
            draw(surfaceTextureMatrix, mvpMatrix);
            mCurrPTS = getPTS();
            draw(surfaceTextureMatrix, mvpMatrix);
        }else if(mSpeed == Speed.FAST){
            if(mDrainIndex % 2 == 0){//快速录制
                mCurrPTS = getPTS();
                draw(surfaceTextureMatrix, mvpMatrix);
            }
        }
        mDrainIndex++;
    }

每次绘制，绘制帧数要加1：

 private void draw(float[] surfaceTextureMatrix, float[] mvpMatrix) {
        if(isAllKeyFrame()){
            requestKeyFrame();
        }
        mRenderer.draw(surfaceTextureMatrix, mvpMatrix);
        if(isAllKeyFrame()){
            requestKeyFrame();
        }
        mFrameIndex++;//绘制帧加1
    }

当然最重要的是时间戳的设定：常速的时候直接返回就好了，快速录制就是根据第一帧的时间戳，得出当前帧对应的当前时间与第一帧时间差的一半，加上第一帧的时间戳，即为正确的时间戳。慢速录制的时候时间戳就是第一帧时间戳，加上egl已经渲染的帧数乘上帧间隔即可。

private long getPTS() {
        long time = System.nanoTime();
        if(mFirstTime == -1){
            mFirstTime = time;
        }
        if(mSpeed == Speed.NORMAL){
            return time / 1000;
        }
        if(mSpeed == Speed.FAST){
            return mFirstTime + (time - mFirstTime) / 2;
        }
        if(mSpeed == Speed.SLOW){
            return mFirstTime + mFrameIndex * mFrameInterval;
        }
        return time / 1000;

    }

opengl绘制的时候设置时间戳：在SurfaceEncoderRenderer每次绘制完之后，设置时间戳，之后再进行swap操作，时间戳才能真正写入到编码器：

        while (mEncoder.isRecording()){
            mLock.lock();
            try {
                Log.d(TAG, "await~~~~");
                mDrawCondition.await();
                mEgl.makeCurrent();
                //makeCurrent表明opengl的操作是在egl环境下
                // clear screen with yellow color so that you can see rendering rectangle
                GLES20.glClearColor(1.0f, 1.0f, 0.0f, 1.0f);
                GLES20.glClear(GLES20.GL_COLOR_BUFFER_BIT);
                mDrawer.setMatrix(mMatrix, 16);
                mDrawer.draw(mTextureId, mMatrix);
                if(!mEncoder.isNormalSpeed()) {
                    mEgl.setPTS(mEncoder.getCurrPTS());//设置时间戳
                }
                mEgl.swapBuffers();
                mEncoder.singalOutput();//通知编码器线程要输出数据啦
                Log.d(TAG, "draw------------textureId=" + mTextureId);
            }finally {
                mLock.unlock();
            }

MEgl中设置时间戳：

/**
     *设置时间戳
     * @param pts 纳秒
     */
    public void setPTS(long pts){
        EGLExt.eglPresentationTimeANDROID(mEglDisplay, mEGLSurface, pts);
    }

这样surface变速录制就已经完成。

Buffer 变速录制

理解了surface的变速录制，buffer录制原理也一样
VideoEncoder需要增加下面的变量：

    private Speed mSpeed = Speed.NORMAL;
    private int mFrameIndex = 0;
    private int mDrainIndex = 0;
    private long mFirstFramePTS = 0;

摄像头提供帧数据：

 public void addFrame(byte[] data){
        Log.d(TAG, "drain frame-" + mDrainIndex + " frameIndex=" + mFrameIndex);
        if(mSpeed == Speed.FAST){
            if(mDrainIndex % 2 == 0){
                addFrame(data, getPTS());//快速录制
            }
        }else if(mSpeed == Speed.SLOW){
            addFrame(data, getPTS());
            addFrame(data, getPTS());//慢速录制
        }else{//normal
            addFrame(data, getPTS());//正常录制
        }
        mDrainIndex++;
    }

获取时间戳：这里和surface录制有区别，surface录制时间戳是纳秒，surface录制的时间戳是微妙

public long getPTS(){
        if(mFrameIndex == 0){
            mFirstFramePTS = System.nanoTime() / 1000;
            return mFirstFramePTS;
        }
        long time = System.nanoTime() / 1000;
        if(mSpeed == Speed.FAST){
            return mFirstFramePTS + (time - mFirstFramePTS) / 2;//快速录制
        }else if(mSpeed == Speed.NORMAL){//正常录制
            return time;
        }else if(mSpeed == Speed.SLOW){//慢速录制
            return mFirstFramePTS + mFrameIndex * mFrameInterval;
        }
        return System.nanoTime() / 1000;
    }

每次绘制的时候绘制帧都需要加1：

 public void addFrame(Frame frame){
        try {
            mLock.lock();
            mFrameList.add(frame);
            mFrameIndex++;//绘制帧+1
            Log.d(TAG, "add frame-" + frame.mTime + " frameIndex=" + mFrameIndex + " interval=" + mFrameInterval);
            mCondition.signal();

        }finally {
            mLock.unlock();
        }
    }

自此，变速录制的就讲解完了，各位小伙伴有什么疑问的，欢迎反馈。