SurfaceTexture与纹理

问题是这样，项目中有蜜汁代码绑定的是GLES20.GL_TEXTURE_2D纹理目标，采样器又使用samplerExternalOES采样数据，然后竟然可以正常展示，于是追踪了下原因。

一些概念

一个正常的纹理渲染过程（简化），从创建开始：
纹理创建

 1. 创建纹理
 int[] texture = new int[1];
 GLES20.glGenTextures(1, texture, 0);

 2. 绑定纹理，纹理目标 & 纹理对象句柄
 GLES20.glBindTexture(GLES20.GL_TEXTURE_2D, texture[0]);

 3. 设置纹理目标的 纹理过滤 & 纹理坐标包装模式，注意是纹理目标，与纹理对象句柄无直接关系
 GLES20.glTexParameterf(GLES20.GL_TEXTURE_2D, GLES20.GL_TEXTURE_MIN_FILTER,
            GLES20.GL_NEAREST);
 GLES20.glTexParameterf(GLES20.GL_TEXTURE_2D, GLES20.GL_TEXTURE_MAG_FILTER,
            GLES20.GL_LINEAR);
 GLES20.glTexParameteri(GLES20.GL_TEXTURE_2D, GLES20.GL_TEXTURE_WRAP_S,
            GLES20.GL_CLAMP_TO_EDGE);
 GLES20.glTexParameteri(GLES20.GL_TEXTURE_2D, GLES20.GL_TEXTURE_WRAP_T,
            GLES20.GL_CLAMP_TO_EDGE);

渲染

1. 激活纹理单元，后续glBindTexture将纹理绑定到当前活动的纹理单元
GLES20.glActiveTexture(GLES20.GL_TEXTURE0); 
2. 绑定纹理目标 & 纹理对象句柄
GLES20.glBindTexture(GLES20.GL_TEXTURE_2D, getTextureId());

片段着色器

1. 采样器将加载一个指定纹理绑定的纹理单元的数值，如前面激活的GLES20.GL_TEXTURE0
uniform sampler2D vTexture;

下图展示流程

附图说明.png

SurfaceTexture

SurfaceTexture用于捕获相机、解码器的图像，渲染到Surface上并绑定到对应纹理，由于相机采集的图像是YUV数据，而纹理的数据是RGB，所以OpenGL提供GLES11EXT扩展接口，纹理目标增加GL_TEXTURE_EXTERNAL_OES用于转换数据等。

SurfaceTexture官方介绍

于是，通过SurfaceTexture获取的相机数据，正常会绑定到GL_TEXTURE_EXTERNAL_OES纹理目标上，在片段着色器中，采样器变化为

uniform samplerExternalOES vTexture;

如果一切标准规范的方式来写，是没问题的，项目中有一种写法让我对SurfaceTexture与纹理产生迷惑，写法如下（简化）：

1. 创建时，纹理绑定0或者任意整数
SurfaceTexture surfaceTexture = new SurfaceTexture(0);

（猜测纹理对象句柄是一个范围整数，规范下使用glGenTextures来创建，是防止错将该环境下其他纹理句柄误使用，导致错乱）

2. 渲染时，激活纹理单元GLES20.GL_TEXTURE0，并绑定GLES20.GL_TEXTURE_2D的纹理目标，且绑定任意的纹理对象句柄
GLES20.glActiveTexture(GLES20.GL_TEXTURE0); 
GLES20.glBindTexture(GLES20.GL_TEXTURE_2D, getTextureId());

3. 片段着色器
uniform samplerExternalOES vTexture;

如上写法，可以正常预览相机，那么相机的图像是如何与片段中采样器关联的呢？纹理单元，纹理目标，纹理句柄对象之间是什么关系呢？

OpenGL提供GLES20.GL_TEXTURE0~GLES20.GL_TEXTURE31共32个纹理单元，每个纹理单元可以有多个纹理目标（GLES20.GL_TEXTURE_2D、GLES20.GL_TEXTURE_3D等），每个目标又可以绑定多个纹理对象句柄，但解释不通上述的绑定2D，但片段着色器中使用samplerExternalOES采样呀，于是看看SurfaceTexture的源码。

1. SurfaceTexture初始化，会调用nativeInit，传递texName

image.png

2. nativeInit会创建GLConsumer对象，将texName传递过去 & 写死textureTarget = GL_TEXTURE_EXTERNAL_OES

image.png

3. 每次更新数据updateTexImage时会调用bindTextureImageLocked方法，里面会调用glBindTexture绑定纹理目标

   
   
   image.png

所以上述写法中，去掉 GLES20.glBindTexture(GLES20.GL_TEXTURE_2D, getTextureId());，采样器也是能够正确采样数据的，解惑。