1、OpenGl常见名词理解

1. 图形api简介

• OpenGL（Open Graphics Library）是一个跨平台，跨编程语言的编程图形程序接口。也就是一套编程图形程序的标准，是用来调度GPU做事情的。

• OpenGL ES (OpenGL for Embedded Systems)是OpenGl三维图形API的子集，针对手机、PDA和游戏主机等嵌入式设备而设计，去除了一些不必要的和性能低下的API接口。

• DirectX 是由很多API组成的，他并不是一个单纯的图形API,最重要的是DirectX是属于Windows上一个多媒体处理框架，并不支持Windows以外的平台。所以不是跨平台框架，按照性质分类，可以分为四大部分，显示部分、声音部分、输入部分、网络部分。

• Metal 是苹果公司为游戏开发者推出的新的平台技术，该技术能为3D图像提高10倍的渲染性能。是苹果为解决3D渲染而推出的框架

2. 图形API解决什么问题？

简单的说就是实现图形的底层渲染，就是利用GPU来高效渲染图形图像。图形API是IOS开发者唯一接近GPU的方式。

3. OpenGL状态机

状态机是一台可以保存状态，并根据当前状态进行相应输出的机器。

核心要点

• 具有记忆功能
• 接收输入，修改当前状态，或根据当前状态进行输出
• 当进入特殊状态（停机）时，不再接收输入，停止工作。

4. OpenGL上下文 （context）

• 上下文是可以理解为环境的意思，是context 翻译过来的。在应用程序调用任何OpenGL指令之前，首先需要创建一个OpenGL的上下文。这个上下文是一个非常庞大的状态机，保存了OpenGL中的各种状态，也是OpenGL指令的基础。

• OpenGL的函数不管在哪个语言中，都是类似C语言一样的面向过程的函数。本质上都是对OpenGl上下文这个庞大的状态机中某个状态或者对象进行操作，通过OpenGL指令的封装，可以将OpenGl的相关功能封装成一个面向对象的图形API.

• 由于OpenGL上下文是一个巨大的状态机，切换上下文往往会产生较大的开销。但是不同的绘制模块，可能需要完全独立的状态管理。因此，可以在应用程序中分别创建多个不同的上下文，在不同的线程中使用不同的上下文，上下文共享纹理、缓冲区等资源。这样的方案，会比反复切换上下文，或者大量修改渲染状态，更加合理高效。

核心要点

• OpenGL指令执行的基础是一个非常庞大的状态机。

• OpenGl 上下文切换开销比较大，虽然可能使用多个上下文，但上下文指尖共享纹理，缓冲区等资源.

• OpenGL 的函数虽然是面向过程的，但可以把相关的调用封装为面向过程的图形API。

5. 渲染（Rendering）

将图形/图像数据转换成2D空间图像操作叫做渲染

6. 顶点数组(Vertext Array)和顶点缓冲区(Vertext Buffer)

• 我们知道画图一般是先画好图像的骨架，或者说是轮廓，然后在往骨架中填充颜色。对于OpenGL 也是一样的，顶点数据就是要图像的骨架。和现实生活中不同的是OpenGL的图像都是由图元组成，在OpenGL ES中，有三种类型的图元：点、线、三角形。

• 在调用绘制方法的时候，直接由内存传入顶点数据，也就是说这部分数据是存储在内存中的，被称为顶点数组。而性能更高的做法是，提前分配一块显存，将顶点数据预先传入到显存当中，这部分显存，被称为顶点缓存区。

7. 管线

在OpenGL下渲染图形，会经历一个一个的节点，这样的操作可以理解为管线。管线是一个抽象的概念。可以类比于工厂流水线，任务严格按照先后顺序依次执行。

8. 固定管线/存储着色器

在早期的OpenGL版本中，封装了多种着色器程序块来帮助开发者快速完成图形的渲染，开发者只需要传入相应的参数，就能完成图形的渲染，类似于ios开发会封装很多API. 我们只需要调用，就可以实现功能，不需要关心底层的实现原理。
但是OpenGL的使用场景非常丰富，固定管线或存储着色器无法完成每一个业务，这时将相关部分开放成可编程。

9. 着色器程序（Shader）

可编程的渲染管线。
OpenGl在实际调用绘制函数之前，还需要指定一个由shader编译成的着色器程序。常见的着色器程序只要有顶点着色器，片段着色器/像素着色器，几何着色器，曲面着色器，片段着色器和像素着色器只是在OpenGL和DX中的不同叫法而已，OpenGL ES 只支持顶点着色器和片段着色器这两个最基础的着色器。

OpenGL在处理shader时，和其他编译器一样，通过编译、链接等步骤，生成了着色器程序，着色器程序同时包含顶点着色器和片段着色器的运算逻辑，在OpenGL进行绘制的时候，首先由顶点着色器对传入的顶点数据进行运算，再通过图元装配，将顶点转换为图元。然后进行光栅化，将图元这种矢量图形，转换为栅格化数据。最后将栅格化数据传入片段着色器中进行运算。片段着色器会对栅格化数据中的每一个像素进行运算，并决定像素的颜色。

核心要点

• 将固定管线架构变为可编程的渲染管线。
• OpenGL ES 只支持顶点着色器和片段着色器。
• OpenGL 通过编译、链接等步骤，将生成着色器程序。
• 绘制流程

9.1 顶点着色器（vertexShader）

OpenGL中用于计算顶点属性的程序，一般用来处理图形每个顶点变换（旋转/平移/投影等）。顶点着色器是逐顶点运算的程序。也就是说每个顶点都会执行一次顶点着色器。当然这是并行的，并且顶点着色器运算过程中无法访问其他的顶点数据。

9.2 片段着色器(fragmentShader)

一般用来处理图形中每个像素点颜色计算和填充。片段着色器是逐像素运算的程序，也就是每个像素都会执行一次片段着色器。当然也是并行。（GPU有很多的运算单元）

10. GLSL(OpenGl Shading Language)

• OpenGL着色语言是用来在OpenGL中着色编程的语言，也即开发人员写的短小的自定义程序，他么实在图形卡的GPU上执行的，代替了固定的渲染管线的一部分，使渲染管线中不同层次具有可编程性。GLSL着色器代码分成2个部分：顶点着色器和片段着色器。

11. 光栅化Rasterization

• 是把顶点数据转换为片元的过程，具有将图转化为一个个栅格组成的图像的作用，特点是每个元素对应帧缓冲区中的一像素。光栅化过程产生的是片元

• 光栅化其实就是一种将几何图元转化为二位图像的过程，包括两个部分：

1. 第一部分工作：决定窗口坐标中的哪些整型栅格区域被基本图元占用
2. 第二部分工作：分配一个颜色值和深度值到各个区域。

• 把物体的数学描述以及与物体相关的颜色信息转换为屏幕上用于对应位置的像素及用于填充像素的颜色，这个过程称为光栅化，这是一个将模拟信号转化为离散信号的过程

12. 纹理

纹理可以理解为图片，在渲染图形时需要在顶点围成的区域中填充图片，使得场景更加逼真，而这里使用的图片，就是常说的纹理，在OpenGL中，习惯叫做纹理。

13. 混合(Blending)

在测试阶段之后，如果像素依然没有被删除，那么像素的颜色将会和帧缓冲区中颜色附着上的颜色进行混合，混合的算法可以通过OpenGL的函数进行制定，但是OpenGl提供的混合算法是有限的，如果需要更加复杂的混合算法，一般可以通过片元着色器进行实现，当然性能会比原生的混合算法差一些。

14. 矩阵

14.1 变换矩阵

例如图形想要平移，缩放，旋转等变换，就需要使用变换矩阵

14.2 投影矩阵

用于将3D坐标转换为二维屏幕坐标，实际线条也将在二维坐标下进行绘制。

15. 渲染上屏/交换缓冲区

• 渲染缓冲区一般映射的系统资源是窗口，如果将图像直接渲染到窗口对应的渲染缓冲区，则可以将图像显示到屏幕上。

• 但是值得注意的是，如果窗口只有一个缓冲区，那么在绘制过程中，屏幕进行了刷新，窗口可能显示不完整的图像。

• 为了解决这个问题，常规的OpenGL程序至少有两个缓冲区。显示在屏幕上的称为屏幕缓冲区，没有显示在屏幕上的称为离屏缓冲区，在一个缓冲区渲染完成之后，通过将屏幕缓冲区和离屏缓冲区交换，实现图像在屏幕上的刷新。

• 由于显示器的刷新一般是逐行进行的，因此为了防止交换缓冲区的时候屏幕上下区域的图像分属于两个不同的帧，因此交换一般会等待显示器刷新完成的信号。在显示器的两次刷新的间隔中进行交换，这个信号被称为垂直同步信号，这个技术被称为垂直同步。可以理解为加了一个锁。防止图像出现撕裂问题。

• 使用双缓冲区和垂直同步技术之后，由于总是要等待缓冲区交换之后，再进行下一帧的渲染，使得帧率无法完全达到硬件的允许的最高水平。为了解决这个问题，引入三缓冲区技术，在等待垂直同步信号时，来回交替渲染两个离屏的缓冲区，而垂直同步发生时，屏幕缓冲区和最近渲染完成的离屏缓冲区交换，实现充分的利用硬件性能的目的。

• 当显示器刷新完成的信号到来时，如果cpu/gpu计算跟不上的，会导致屏幕重复显示同一张图像，这种现象就是常说的掉帧。理论上双缓冲区跟三缓冲区都可能会发生屏幕掉帧（卡顿）的问题。屏幕掉帧是为了解决图像撕裂问题而引起的新的问题。