OpenGL的学习

前言

OpenGL（Open Graphics Library）是一个跨编程语言、跨平台的编程图形程序接口，它将计算机的资源抽象称为一个个OpenGL的对象，对这些资源的操作抽象为一个个OpenGL指令。

OpenGL ES （OpenGL For Embedded Systems）PDA和游戏主机等嵌入式设备而设计，去除了许多不必要与性能较低的API接口。对于手机，OpenGL ES是OpenGL三维图形API的子集，因此学习OpenGL ES之前先要学习OpenGL.

---

OpenGL中使用到的名词

• OpenGL 上下文
• OpenGL 状态机
• 渲染（Rendering）
• 顶点数组（VertexArray）和顶点缓冲区（VertexBuffer）
• 管线
• 固定管线/存储着色器
• 着色器程序 Shader
• 顶点着色器 VertexShader
• 片元着色器程序 FragmentShader
• GLSL（OpenGL Shading Language）
• 光栅化（Rasterization）
• 纹理
• 混合（Blending）
• 变换矩阵（Transformation）
• 投影矩阵（Projection）
• 渲染上屏/交换缓冲区（SwapBuffer）

---

OpenGL 上下文

• 在应用程序调用任何OpenGL的指令之前， 需要先创建一个OpenGL的上下文context。这个上下文是一个非常庞大的状态机，保存了OpenGL的各种状态，这也是OpenGL指令执行的基础
• OpenGL的函数不管在哪个语言中， 都是类似C语言一样的面向过程的函数，本质上都是对OpenGL上下文这个庞大的状态机中某个状态或者对象进行操作，当然首先把这个对象设置为当前对象。因此，通过对OpenGL指令的封装，是可以将OpenGL的相关调用封装成为一个面向对象的图形API。
• 由于OpenGL上下文是一个巨大的状态机，切换上下文往往会产生较大的开销，但是不同的回执模块，可能需要使用完全独立的状态管理。因此，可以在应用程序中分别创建多个不同的上下文，在不同线程中使用不同的上下文，上下文之间共享纹理、缓冲区等资源。这样的方案，会比反复切换上下文，或者大量修改渲染状态，更加合理高效的。

OpenGL状态机

状态机是理论中的一种机器。状态机描述了一个对象在其生命周期中所经历的各种状态，状态间的转变，发生转变的动因，条件及转变中所执行的活动。或者说状态机是一种行为，说明对象在其生命周期中响应时间所经理的状态序列以及对那些状态事件的响应。因此具有以下特点：

• 有记忆功能，能记住当前的状态。
• 可以接收输入，根据输入的内容和自己的原先状态，修改自己当前状态，并且可以有对应输出。
• 当进入特殊状态（停机状态）的时候，便不再接收输入，停止工作。

 类推到OpenGL

• OpenGL可以记录自己的状态（如当前所使用的颜色、是否开启了混合功能等）.
• OpenGL可以接收输入（当调用OpenGL函数的时候，实际上可以看成OpenGL在接收我们的输入），如我们调用glColor3f，则OpenGL接收到这个输入后会修改自己的“当前颜色”这个状态
• OpenGL可以进入停止状态，不再接收输入。在程序退出前，OpenGL总会先停止工作的。

渲染（Rendering）

将图形/图像数据转换承3D空间图像操作叫做渲染。

顶点数组(VertexArray)和顶点缓冲区（VertexBuffer)

• 画图一般是先画好图像的骨架，然后再往骨架里面填充颜色，这对于OpenGL也是一样的。顶点数据就是要画图像的骨架，和现实中不同的是，OpenGL中的图像都是由图元组成。在OpenGLES中，有3种类型的图元：点、线、三角形。那这些顶点数据最终是存储在哪里的呢？开发者可以选择设定函数指针，在调用绘制方法的时候，直接由内存传入顶点数据，也就是说这部分数据之前是存储在内存当中的，被称为顶点数组。而性能更高的做法是，提前分配一块显存，将顶点数据预先传入到显存当中。这部分的显存，就被称为顶点缓冲区。
• 顶点指的是我们在绘制一个图形时,它的顶点位置数据.而这个数据可以直接存储在数组中或者将其缓存到GPU内存中.

管线

在OpenGL 下渲染图形,就会有经历一个一个节点.而这样的操作可以理解管线.大家可以想象成流水线.每个任务类似流水线般执行.任务之间有先后顺序. 管线是一个抽象的概念，之所以称之为管线是因为显卡在处理数据的时候是按照一个固定的顺序来的，而且严格按照这个顺序。就像水从一根管子的一端流到另一端，这个顺序是不能打破的

固定管线/存储着色器

• 在早期的OpenGL 版本,它封装了很多种着色器程序块内置的一段包含了光照、坐标变换、裁剪等等诸多功能的固定shader程序来完成,来帮助开发者来完成图形的渲染. 而开发者只需要传入相应的参数,就能快速完成图形的渲染. 类似于iOS开发会封装很多API,而我们只需要调用,就可以实现功能.不需要关注底层实现原理.
• 但是由于OpenGL 的使用场景非常丰富,固定管线或存储着色器无法完成每一个业务.这时将相关部分开放成可编程.

着色器程序Shader

• 就全面的将固定渲染管线架构变为了可编程渲染管线。因此，OpenGL在实际调用绘制函数之前，还需要指定一个由shader编译成的着色器程序。常见的着色器主要有顶点着色器（VertexShader），片段着色器（FragmentShader）/像素着色器（PixelShader），几何着色器（GeometryShader），曲面细分着色器（TessellationShader）。片段着色器和像素着色器只是在OpenGL和DX中的不同叫法而已。可惜的是，直到OpenGLES 3.0，依然只支持了顶点着色器和片段着色器这两个最基础的着色器。
• OpenGL在处理shader时，和其他编译器一样。通过编译、链接等步骤，生成了着色器程序（glProgram），着色器程序同时包含了顶点着色器和片段着色器的运算逻辑。在OpenGL进行绘制的时候，首先由顶点着色器对传入的顶点数据进行运算。再通过图元装配，将顶点转换为图元。然后进行光栅化，将图元这种矢量图形，转换为栅格化数据。最后，将栅格化数据传入片段着色器中进行运算。片段着色器会对栅格化数据中的每一个像素进行运算，并决定像素的颜色

顶点着色器VertexShader

• 一般用来处理图形每个顶点变换(旋转/平移/投影等)
• 顶点着色器是OpenGL中用于计算顶点属性的程序。顶点着色器是逐顶点运算的程序，也就是说每个顶点数据都会执行一次顶点着色器，当然这是并行的，并且顶点着色器运算过程中无法访问其他顶点的数据。
• 一般来说典型的需要计算的顶点属性主要包括顶点坐标变换、逐顶点光照运算等等。顶点坐标由自身坐标系转换到归一化坐标系的运算，就是在这里发生的。

片元着色器程序FragmentShade

• 一般用来处理图形中每个像素点颜色计算和填充
• 片段着色器是OpenGL中用于计算片段（像素）颜色的程序。片段着色器是逐像素运算的程序，也就是说每个像素都会执行一次片段着色器，当然也是并行的。

GLSL(OpenGL Shading Language)

OpenGL着色语言（OpenGL Shading Language）是用来在OpenGL中着色编程的语言，也即开发人员写的短小的自定义程序，他们是在图形卡的GPU （Graphic Processor Unit图形处理单元）上执行的，代替了固定的渲染管线的一部分，使渲染管线中不同层次具有可编程性。比如：视图转换、投影转换等。GLSL（GL Shading Language）的着色器代码分成2个部分：Vertex Shader（顶点着色器）和Fragment（片断着色器）

光栅化Rasterization

• 是把顶点数据转换为片元的过程，具有将图转化为一个个栅格组成的图象的作用，特点是每个元素对应帧缓冲区中的一像素。
• 光栅化就是把顶点数据转换为片元的过程。片元中的每一个元素对应于帧缓冲区中的一个像素。
• 光栅化其实是一种将几何图元变为二维图像的过程。该过程包含了两部分的工作。第一部分工作：决定窗口坐标中的哪些整型栅格区域被基本图元占用；第二部分工作：分配一个颜色值和一个深度值到各个区域。光栅化过程产生的是片元
• 把物体的数学描述以及与物体相关的颜色信息转换为屏幕上用于对应位置的像素及用于填充像素的颜色，这个过程称为光栅化，这是一个将模拟信号转化为离散信号的过程

纹理

纹理可以理解为图片. 大家在渲染图形时需要在其编码填充图片,为了使得场景更加逼真.而这里使用的图片,就是常说的纹理.但是在OpenGL,我们更加习惯叫纹理,而不是图片.

混合（Blending）

在测试阶段之后，如果像素依然没有被剔除，那么像素的颜色将会和帧缓冲区中颜色附着上的颜色进行混合，混合的算法可以通过OpenGL的函数进行指定。但是OpenGL提供的混合算法是有限的，如果需要更加复杂的混合算法，一般可以通过像素着色器进行实现，当然性能会比原生的混合算法差一些。

变换矩阵（Transformation）

例如图形想发生平移,缩放,旋转变换.就需要使用变换矩阵.

投影矩阵（Projection）

用于将3D坐标转换为二维屏幕坐标,实际线条也将在二维坐标下进行绘制.

渲染上屏/交换缓冲区（SwapBuffer）

• 渲染缓冲区一般映射的是系统的资源比如窗口。如果将图像直接渲染到窗口对应的渲染缓冲区，则可以将图像显示到屏幕上。
• 但是，值得注意的是，如果每个窗口只有一个缓冲区，那么在绘制过程中屏幕进行了刷新，窗口可能显示出不完整的图像。
• 为了解决这个问题，常规的OpenGL程序至少都会有两个缓冲区。显示在屏幕上的称为屏幕缓冲区，没有显示的称为离屏缓冲区。在一个缓冲区渲染完成之后，通过将屏幕缓冲区和离屏缓冲区交换，实现图像在屏幕上的显示。
• 由于显示器的刷新一般是逐行进行的，因此为了防止交换缓冲区的时候屏幕上下区域的图像分属于两个不同的帧，因此交换一般会等待显示器刷新完成的信号，在显示器两次刷新的间隔中进行交换，这个信号就被称为垂直同步信号，这个技术被称为垂直同步。
• 使用了双缓冲区和垂直同步技术之后，由于总是要等待缓冲区交换之后再进行下一帧的渲染，使得帧率无法完全达到硬件允许的最高水平。为了解决这个问题，引入了三缓冲区技术，在等待垂直同步时，来回交替渲染两个离屏的缓冲区，而垂直同步发生时，屏幕缓冲区和最近渲染完成的离屏缓冲区交换，实现充分利用硬件性能的目的。

OpenGL 的坐标系概述

2D笛卡尔坐标

定义

• 每一个2D笛卡尔坐标系都有一个特殊的点。称作原点（Origin(0,0)），它是坐标系的中心。
• 每一个2D笛卡尔坐标系都有两条过原点的直线向两边无限延伸，称做轴(axis)，两个轴相互垂直。

特点

• 2D坐标空间是无限伸展的。

• 坐标系中的直线没有宽度，坐标系中每一个点都是坐标系的一部分

  
  
  

  2D笛卡尔坐标

3D笛卡尔坐标系

• 我们需要用3个轴来表示三维坐标系，前两个轴称作X轴和Y轴，这类似于2D平面，但并不等同于2D的轴，第3个轴称作Z轴。（3轴互相垂直）。

  
  
  

  3D笛卡尔坐标系

视口

• 窗口是以像素为单位度量，一开始在窗口中绘制点、线、形状之前、必须告诉OpenGL如何把置顶坐标映射为屏幕坐标。
• 坐标系统必须从逻辑笛卡尔坐标映射到物理屏幕像素坐标，这个映射是通过视口（viewPort ）的设置来指定。
• 在代码中，我们通过glViewPort 函数来实现视口的设计。视口就是窗口内部用于绘制裁剪区域的客户区域。

视口

从3D到2D

 不管我们觉得自己的眼睛看到的三维立体图像多么真实，屏幕上像素实际上只有二维的。我们的手机屏幕本身就是二维的，我们无法真实去呈现立体图形。

 那么OpenGL是如何将笛卡尔坐标系映射承可以在屏幕上显示的二维坐标的呢？

在这里需要用到投影，我们需要置顶投影空间，指定在窗口显示的视景体（Viewing Volume），并指定如何对它进行变换。

 举个栗子：类似于立体图像站在镜子面前。

投影分两种：

• 第一种正投影(Orthographics Projection)或平行投影. 使用正投影时,需要指定一个正方形/长方形的视景体. 在视景体以外的任何物体都不会被绘制. 并且使用正投影所以实际大小相同的物体在屏幕上都具有相同的大小.不管它们是否存在远近问题. 正投影比较适合平面图形/2D图形渲染时使用.

• 第二种透视投影(Perspective Projection).它在3D开发中更为常见. 同样需要指定视景体的.而这个视景体并不是类似于正方体,看起来像平截体. 透视投影一般会使用于3D图像渲染.因为它会更加逼真.

  
  
  

  左为透视投影 右为正投影

多种坐标系统

• OpenGL希望每次顶点着色后，我们的可见顶点都为标准化设备坐标（Normalized Device Coordinate，NDC）。也就是说每个顶点的x,y,z都应该在-1到1之间，超出这个范围的顶点将是不可见的。

• 通常情况下我们会自己设定一个坐标范围，之后再在顶点着色器中将这些坐标变换为标准化设备坐标。然后这些标准化设备坐标传入光栅器（Rasterizer）,将它们变换为屏幕上的二维坐标和像素。

• 将坐标变换为标准化设备坐标，接着再转化为屏幕坐标的过程通常是分步进行的，也就是类似于流水线那样子。在流水线中，物体的顶点在最终转化为屏幕坐标之前还会被变换到多个坐标系统(Coordinate System)。将物体的坐标变换到几个过渡坐标系(Intermediate Coordinate System)的优点在于，在这些特定的坐标系统中，一些操作或运算更加方便和容易，这一点很快就会变得很明显。对我们来说比较重要的总共有5个不同的坐标系统

• 局部空间(Local Space，或者称为物体空间(Object Space))
• 世界空间(World Space)
• 观察空间(View Space，或者称为视觉空间(Eye Space))
• 裁剪空间(Clip Space)
• 屏幕空间(Screen Space)

  这就是一个顶点在最终被转化为片段之前需要经历的所有不同状态。为了将坐标从一个坐标系变换到另一个坐标系，我们需要用到几个变换矩阵，最重要的几个分别是模型(Model)、观察(View)、投影(Projection)三个矩阵。物体顶点的起始坐标再局部空间（Local Space）,这里称它为局部坐标（Local Coordinate），它在之后会变成世界坐标（world Coordinate）,观测坐标（View Coordinate）,裁剪坐标（Clip Coordinate）,并最后以屏幕坐标（Screen Corrdinate）的形式结束。

  下面这张图阐释了流程以及各个变换在做什么：

坐标计算转换流程图

  坐标转换需要注意以下几点：

• 局部坐标是对象相对于原点的坐标，也是物体的起始坐标。
• 下一步将局部坐标转化为世界空间坐标，世界空间坐标是一个处于更大空间范围内的。这些坐标相对于世界的全局原点，它们会和其他物体一起相对于世界原点进行摆放。
  接下来将世界坐标转化为观测坐标，使得每个坐标都是从摄像机或者说观察者角度进行观察的。
• 坐标到达观测空间后，我们需要将其投影到裁剪坐标。裁剪坐标会被处理到−1.0到1.0范围内，并判断哪些点将会出现在屏幕上。
• 最后，我们将裁剪坐标变换为屏幕坐标，我们将使用一个叫做视口变换(Viewport Transform)的过程。视口变换将位于−1.0到1.0范围的坐标变换到由glViewport函数所定义的坐标范围内。最后变换出来的坐标将会送到光栅器，将其转化为片段。

总结：OpenGL的坐标变换全过程

OpenGL的坐标转换全过程