Android SurfaceTexture简析

https://www.jianshu.com/p/b19a0f49d4ac

 

Android SurfaceTexture简析

 Jimmy2012 关注

 0.3 2017.10.29 23:48* 字数 879 阅读 5169评论 1喜欢 5

简介

最近工作中接触到SurfaceTexture，因此打算分析一下SurfaceTexture的原理，提到SurfaceTexture一般会提到与它相关的SurfaceView、GLSurfaceView、TextureView，这几个都可以将图形生产者的数据（比如Camera）送到SurfaceFlinger中显示，而SurfaceTexture可以看做Surface和Texture的组合，是将图形生产者的数据送到Texture，然后是由应用程序自己来处理。这里的Texture应该是属于opengl的概念，由于本人对这块不熟，等后续熟悉了再来分析Texture吧。

调用流程

一般SurfaceTexture的调用流程如下所示：

图一

应用程序会先创建一个SurfaceTexture，然后将SurfaceTexture传递给图形生产者对象（比如Camera，通过调用setPreviewTexture传递），图形生产者对象生产一帧数据后，会回调onFrameAvailable通知应用程序有新的图像数据可以使用，应用程序就可以调用updateTexImage将图像数据先送到Texture，之后就可以调用opengl接口做些具体的业务了。

下面说说具体的流程吧。

step1到step13

这几个流程就是初始化SurfaceTexture，在native层创建了BufferQueue、GLConsumer、JNISurfaceTextureContext，BufferQueue提供图形生产者消费者机制，具体内容请见Android BufferQueue简析，GLConsumer就是SurfaceTexture的图形消费者，即通过调用opengl接口将图形生产者的图像数据送到Texture，JNISurfaceTextureContext是个简单的代理对象，持有java层的SurfaceTexture对象，完成帧可用事件回调。

主要类的关系如下所示，绿色的为java层的SurfaceTexture对象，黄色的都是native层的对象，可见SurfaceTexture功能基本都在native层实现，java层的SurfaceTexture对象的mSurfaceTexture成员指向的是native层的GLConsumer对象，mProducer成员指向的是native层的BufferQueueProducer对象，当将SurfaceTexture对象传给图形生产者对象比如Camera时，就可以从该成员获取到native层的BufferQueueProducer，用于生产者对象输出。如下所示：

static void android_hardware_Camera_setPreviewTexture(JNIEnv *env,
        jobject thiz, jobject jSurfaceTexture)
{
    ALOGV("setPreviewTexture");
    sp camera = get_native_camera(env, thiz, NULL);
    if (camera == 0) return;

    sp producer = NULL;
    if (jSurfaceTexture != NULL) {
        producer = SurfaceTexture_getProducer(env, jSurfaceTexture);
        if (producer == NULL) {
            jniThrowException(env, "java/lang/IllegalArgumentException",
                    "SurfaceTexture already released in setPreviewTexture");
            return;
        }

    }

    if (camera->setPreviewTarget(producer) != NO_ERROR) {
        jniThrowException(env, "java/io/IOException",
                "setPreviewTexture failed");
    }
}

mFrameAvailableListener成员指向的是native层的JNISurfaceTextureContext对象，JNISurfaceTextureContext是OnFrameAvailableListener从native到java的跳板。

该类图与Android BufferQueue简析图三的类图很像，那张类图说的是显示流程中的主要类之间的关系，可见SurfaceTexture和SurfaceView原理上基本相似，BufferQueue都是其核心，当然也有一些不同的地方，比如SurfaceTexture的BufferQueue是在应用程序进程这边创建的，而SurfaceView对应的BufferQueue是在SurfaceFlinger进程创建的。

图二

step14到step16

这几个流程就是图形生产者生产一帧数据后，通过BufferQueueCore层层调用，最后回调OnFrameAvailableListener的onFrameAvailable，通知Listener有新的图像数据可以使用，一般应用程序会实现该Listener以接收通知。

step17到step35

这几个流程就是从BufferQueueCore取出图形生产者生产的帧数据GraphicBuffer，然后调用opengl接口将GraphicBuffer更新到Texture上，等熟悉了opengl再来分析。

step36到step36

应用程序一般还会根据需要调用getTransformMatrix、getTimestamp获取矩阵和时间戳信息，这些信息是在调用updateTexImage时更新的。

通过以上分析，可见要理解SurfaceTexture的关键是要理解BufferQueue和opengl，BufferQueue已经分析过了，opengl等后续熟悉了再抽空分析吧。