OpenGL ES基础

3D图像引擎简介

现今较为知名的3D图形引擎有OpenGL、DirectX 以及OpenGL ES,它们各自的应用领域如下：

DirectX主要应用于Windows下游戏的开发，在此领域基本上一统天下。
OpenGL的应用领域较为广泛，适用于Unix、Mac OS、Linux以及Microsoft等几乎所有的操作系统，可以开发游戏、工业建模以及嵌入式设备。
OpenGL ES 是专门针对嵌入式设备而设计的，适用于Android、IOS等嵌入式操作系统。它其实是OpenGL的裁剪版本，去除了OpenGL中许多必须存在的特性，如：GL_QUADS、GL_POLYGONS等绘制模式以及GLBegin/GLEnd操作。

OpenGL ES版本分类

OpenGL ES主要分为两个大版本，OpenGL ES 1.x 和OpenGL x.0(2.0、3.0等)。

OpenGL ES 1.x，采用的是固定渲染管线，可以由硬件GPU支持或用软件模拟实现，渲染能力有限，在纯软件模拟情况下性能也较弱。着色器固定，编程套路化，程序员可发挥的空间小，当然好处就是编程相对简单。
OpenGL ESx.0,采用的是可编程渲染管线，渲染能力大大提高。着色器是可编程的，灵活性高，程序员可发挥的空间大，编程比较难。

渲染管线

渲染管线也称为渲染流水线，是由显示芯片(GPU)内部处理图形信号的并行处理单元组成。这些并行处理单元两两之间是相互独立的，在不同型号的硬件上独立处理单元的数量也有很大的差异。一般越高端的硬件，其独立单元的数量也就越多。与普通应用程序通过CPU串行执行不同，将渲染管线中多个相互独立的处理单元进行并行处理后，渲染效率可以得到极大的提升。

OpenGL ES 1.x渲染流程图

OpenGL ES 1.x渲染管线 .png

OpenGL ES 2.0渲染流程图

OpenGL ES 2.x渲染管线.png

渲染管线的职责

通过上面两幅流程图可以看出：

装配信息(点、线、三角形)，是用来构建3D物体的。主要是物体的shape。其实真实世界的物体都是用面来构建的(例如：砖砌的房子，砖可以看成一个长方体，是由6个长方形构建的，1个长方形可以由两个三角形构建)。理论上，三角形有构建任何物体的能力。
通过三角形构建的物体，描素的是物体的形状。真实世界的物体是五颜六色的，我们需要对构建的物体进行着色。OpenGL通过光栅化后会得到片元。片元可以理解为三维世界的一个像素。
对片元做各种处理，最终获得OpenGL的FrameBuffer，然后可以投影到屏上。

综上，可知渲染管线的职责，通过顶点，指定绘制方式，构建OpenGL环境中的物体外形,通过对片元的处理，达到对物体着色。只不过OpenGL ES 2.x，顶点和片元是可编程的。

顶点着色器

顶点着色器是个可编程的处理单元，功能为执行顶点的变换、光照、材质的应用与计算等顶点相关的操作，其每个顶点执行一次。工作过程为首先将原始的顶点几何信息及其他属性传送到顶点着色器中，经过自己开发的顶点着色器处理产生纹理坐标、颜色、点位置等后继流程需要的各项顶点属性信息，然后将其传递给图元装配阶段。

顶点着色器替换了原有固定管线的顶点变换、光照计算，程序员可以根据自己的需求自行开发顶点变换、光照等功能，大大增加了程序的灵活性。前面也说过，灵活性越高，其实是越难控制的，当然开发的难度越大。

顶点着色器.png

顶点着色器的输入主要为待处理顶点相应的attribute变量、uniform变量、采样器以及临时变量，输出主要为经过顶点着色器后生成的varying变量及一些内建输出变量。
attribute变量指的是3D物体中每个顶点各自不同的信息所属的变量，一般顶点的位置、颜色、法向量等每个顶点各自不同的信息都是以attribute变量的方式传入顶点着色器的。
uniform变量指的是对于同一组顶点组成的单个3D物体中所有顶点都相同的量，一般为场景中当前的光源位置、当前的摄像机位置、投影矩阵等。
varying变量是从顶点着色器计算产生并传递到片元着色器的数据变量。顶点着色器可以使用易变变量来传递需要插值到片元的颜色、法向量、纹理坐标等任意值。
内建输出变量，都是以gl_开头的变量，是GL环境中的最终变量。

顶点着色器，需要开发着色器语言，就是控制这些变量，下面是一段简单的顶点着色器语言的开发代码，让我们体验一下。

uniform mat4 uMVPMatrix;
attribute vec3 aPosition;
attribute vec4 aColor;
varying vec4 vColor;
void main() {
  gl_Position = uMVPMatrix * vec4(aPosition,1);
  vColor = aColor;
}

易变变量在顶点着色器赋值后并不是直接将赋的值送入到后继的片元着色器中，而是在光栅化阶段由管线根据片元所属图元各个顶点对应的顶点着色器对此易变变量的赋值情况及片元与各顶点位置关系的插值产生的。

线性插值工作原理.png

从图上可以看出，A、B、C三个就确定了一个三角形。如果A点是白色的， B、 C 两点是黑色的，这个三角形就是从底到向上，由黑到白的一个渐变。三个顶点，确定了三角形，只是一个shape,光栅化后可以产生很多片元(这里可以理解成像素点)，由这些片元来描述带颜色的三角形。

片元着色器

片元着色器是用于处理片元值及其相关数据的可编程单元，其可以执行纹理的采样、颜色的汇总、计算雾颜色等操作，每片元执行一次。片元着色器的主要功能为通过重复执行，将3D物体中的图元光栅化后产生的每个片元的颜色等属性计算出来的数据送入后继阶段。

从渲染管线的图中可以看出，可编程片元着色器替代了纹理、颜色求和、雾以及Alpha测试等阶段。与顶点着色器类似，被其替代的功能系统将不再提供，需要完全由开发人员用着色器语言编程完成。

片元着色器.png

着色器开发样例

precision mediump float;
varying vec4 vColor;
void main() {
  gl_FragColor = vColor;
}

OpenGL ES中物体构建原理

OpenGl ES中所有物体的构建都是通过平面完成的，其实这与现实世界搭建建筑物没有本质区别。现实世界的建筑物远看是平滑的曲面，其实近看是由一个一个小平面组成的。3D虚拟世界中也是如此，任何物体都是由多个小平面搭建而成的。这些小平面分得越小，越细致，搭建出来的物体就越平滑。

OpenGL ES的虚拟世界与现实世界的区别是：现实世界中可以用任意形状的多边形来搭建建筑物，而OpenGL ES中仅仅允许采用三角形来搭建物体。其实从构造能力上来说并没有区别，因为任何多边形都可以拆分为多个三角形。

GPU图像处理性能

根据摩尔定律,CPU的处理能力每隔18个月，性能就翻一倍，并且现在CPU都是多核心的了，为什么还要GPU呢？

回答这个问题前，需要澄清一个事实，CPU是有能力处理所有数字图像的。回答CPU处理不了，显然是不正确的。数字图像的本质是一个像素矩阵，矩阵变换是计算密集性并且有规律的任务，这就太耗CPU了。如果能开发处理顶点（用于构建物体shape,可以理解为三角形）和片元(对物体进行上色，可以理解为像素)的硬件单元，就可以大大的提高效率，这就是GPU的出现的历史原因。也就是说，GPU的频率尽管和CPU的不是一个数量级的，但是有很多顶点和片元的硬件处理单元，把图像处理这个单一任务分解成许多个三角形生成器和像素填充器的小任务，被GPU成千上万个硬件处理单元并行处理，性能就会好很多。这也是GPU图像处理的优势所在。

综上，就可以知道，GPU性能参数是由三角形输出率和像素填充率决定的。