二、渲染 Camera 的数据

一、如何用 OpenGL 渲染 Camera 数据

OpenGL 提供了 FBO 缓存区的概念，Camera 的数据可以先缓存到 FBO 缓存区，接着我们可以使用滤镜的概念。第一个滤镜负责从FBO中获取数据对数据做采样处理，第二个滤镜拿到第一个滤镜处理后的纹理做渲染。

二、通过 Camera API 拿到摄像头数据

通过 setPreviewTexture API 将 SurfaceTexture 传递给 Camera。这样当有实时帧数据收到时，会回调 SurfaceTexture 的 onDrawFrame 方法。

  mCamera.setPreviewTexture(mSurfaceTexture);

三、处理 Camera 数据的滤镜

1. OpenGL 针对 Android 提供了扩展采样器专门采集 Camera 的数据

#extension GL_OES_EGL_image_external : require
precision mediump float;
//采样点的坐标 由顶点采样器传递过来
varying vec2 aCoord;
//color 输入  samplerExternalOES 针对按安卓摄像头定制的采样器
uniform samplerExternalOES vTexture;
void main(){
//    倒 的   正的
    //变量 接收像素值
    // texture2D：采样器 采集 aCoord的像素
    //赋值给 gl_FragColor 就可以了
    gl_FragColor =texture2D(vTexture,aCoord);
}

// 把顶点坐标给这个变量， 确定要画画的形状
attribute vec4 vPosition;
//vPosition 4 顶点
//接收纹理坐标，接收采样器采样图片的坐标
attribute vec4 vCoord;
//接收摄像头传递过来的数据
uniform mat4 vMatrix;
//  x   y   z   向量
// x  y
//传给片元着色器 像素点   0 0    1 0
varying vec2 aCoord;
void main(){

    //内置变量 gl_Position ,我们把顶点数据赋值给这个变量 opengl就知道它要画什么形状了
    gl_Position = vPosition;
    aCoord = (vMatrix*vCoord).xy;
}

//主要是获取摄像头 数据   并且 创建FBO    在FBO中添加特效
public class CameraFilter extends AbstractFilter {
    //    FBO  就是一个int类型的数组，负责缓存数据的
    int[] mFrameBuffer;
    //    纹理
    int[] mFrameBufferTextures;
    private float[] matrix;

    public CameraFilter(Context context) {
        super(context, R.raw.camera_vertex, R.raw.camera_frag);
    }

    //    坐标转换

    @Override
    protected void initCoordinate() {
        mTextureBuffer.clear();
        //摄像头是颠倒的  原始坐标   摄像头是颠倒的（90度）  +  镜像
        //        怎么样修复
        /**
         * 修复代码
         */
        float[] TEXTURE = {
                0.0f, 0.0f,// 左上
                0.0f, 1.0f,// 右上
                1.0f, 0.0f,// 左下

                1.0f, 1.0f//右下
        };
        mTextureBuffer.put(TEXTURE);
    }

    @Override
    public void onReady(int width, int height) {
        super.onReady(width, height);
        mFrameBuffer = new int[1];
        //       通过 OpenGL 创建 FBO 缓冲区
        GLES20.glGenFramebuffers(1, mFrameBuffer, 0);
        //实例化一个纹理  让纹理和FBO进行绑定 可以操作纹理
        mFrameBufferTextures = new int[1];
        OpenGLUtils.glGenTextures(mFrameBufferTextures);
        // 将纹理绑定
        GLES20.glBindTexture(GLES20.GL_TEXTURE_2D, mFrameBufferTextures[0]);
        // 将纹理进行绑定
        GLES20.glBindFramebuffer(GLES20.GL_FRAMEBUFFER, mFrameBuffer[0]);
        //        设置纹理显示纤细  宽度高度   pixels 代表是否需要自己传入像素，
        //        我们使用 SurfaceTexture 直接传入摄像头数据到 OpenGL 中
        GLES20.glTexImage2D(GLES20.GL_TEXTURE_2D, 0, GLES20.GL_RGBA, mWidth, mHeight, 0,
                GLES20.GL_RGBA, GLES20.GL_UNSIGNED_BYTE, null);
        //        将纹理 与 FBO 进行关联 后续可以直接操作纹理数据 不需要再使用 FBO 的数据了
        GLES20.glFramebufferTexture2D(GLES20.GL_FRAMEBUFFER, GLES20.GL_COLOR_ATTACHMENT0,
                GLES20.GL_TEXTURE_2D,
                mFrameBufferTextures[0], 0);
        //        解绑
        GLES20.glBindTexture(GLES20.GL_TEXTURE_2D, 0);
        GLES20.glBindFramebuffer(GLES20.GL_FRAMEBUFFER, 0);
    }

    // 重写 onDrawFrame 将这个滤镜处理好的特效交给下一个滤镜
    @Override
    public int onDrawFrame(int textureId) {
        //设置显示窗口
        GLES20.glViewport(0, 0, mWidth, mHeight);
        //不调用的话就是默认的操作glsurfaceview中的纹理了。显示到屏幕上了
        //这里我们还只是把它画到fbo中(缓存)
        GLES20.glBindFramebuffer(GLES20.GL_FRAMEBUFFER, mFrameBuffer[0]);
        //使用着色器
        GLES20.glUseProgram(mProgram);
        mVertexBuffer.position(0);
        GLES20.glVertexAttribPointer(vPosition, 2, GLES20.GL_FLOAT, false, 0, mVertexBuffer);
        GLES20.glEnableVertexAttribArray(vPosition);

        mTextureBuffer.position(0);
        GLES20.glVertexAttribPointer(vCoord, 2, GLES20.GL_FLOAT, false, 0, mTextureBuffer);
        GLES20.glEnableVertexAttribArray(vCoord);

        //将java 的矩阵传递给 OpenGL 的矩阵。 变换矩阵
        GLES20.glUniformMatrix4fv(vMatrix, 1, false, matrix, 0);

        //激活我们的纹理
        GLES20.glActiveTexture(GLES20.GL_TEXTURE);
        // 因为这个滤镜使用的是摄像头数据，不是 OpenGL 的纹理，采样器需要特殊指定
        GLES20.glBindTexture(GLES11Ext.GL_TEXTURE_EXTERNAL_OES, textureId);

        GLES20.glUniform1i(vTexture, 0);
        //        绘制
        GLES20.glDrawArrays(GLES20.GL_TRIANGLE_STRIP, 0, 4);

        //  解绑
        GLES20.glBindTexture(GLES11Ext.GL_TEXTURE_EXTERNAL_OES, 0);
        GLES20.glBindFramebuffer(GLES20.GL_FRAMEBUFFER, 0);
        return mFrameBufferTextures[0];
    }

    public void setMatrix(float[] mtx) {
        this.matrix = mtx;
    }
}

三、在 Render 里面使用滤镜

  @Override
    public void onDrawFrame(GL10 gl) {
        //        摄像头获取一帧数据   会回调此方法
        GLES20.glClearColor(0, 0, 0, 0);
        //        执行清空
        GLES20.glClear(GLES20.GL_COLOR_BUFFER_BIT);
        mSurfaceTexture.updateTexImage();
        mSurfaceTexture.getTransformMatrix(mtx);
        mCameraFilter.setMatrix(mtx);
        // 这里第一个滤镜处理完以后，会返回一个新的纹理内存的地址，把这个地址交给下一个滤镜
        int id = mCameraFilter.onDrawFrame(mTextures[0]);
        //        id ==效果1.onDrawFrame(id);  帽子
        // id ==效果2.onDrawFrame(id);  眼镜
        // id ==效果2.onDrawFrame(id);  大耳朵

        //        mScreenFilter 将最终的特效运用到SurfaceView中
        mScreenFilter.onDrawFrame(id);
    }