（一） 3D图形渲染管线

（一） 3D图形渲染管线（学习Shader的基础是计算机图形学）

 正文  

        什么是渲染（Rendering）

    渲染简单的理解可能可以是这样：就是将三维物体或三维场景的描述转化为一幅二维图像，生成的二维图像能很好的反应三维物体或三维场景（如图1）：

    

图1：Rendering

              

一.顶点变换（Vertex Transformation）：

    顶点变换是图形硬件渲染管线种的第一个处理阶段。顶点变换在每个顶点上执行一系列的数学操作。这些操作包括把顶点位置变换到屏幕位置以便光栅器使用，为贴图产生纹理坐标，以及照亮顶点以决定它的颜色。

顶点变换中的一些坐标：

坐标系统：

图4：用于顶点处理的坐标系统和变换

物体空间：

    应用程序在一个被称为物体空间（也叫模型空间）的坐标系统里指定顶点位置。当一个美工人员创建了一个物体的三维模型的时候，他选择了一个方便的方向、比例和位置来放置模型的组成顶点。一个物体的物体空间可以与其它物体的物体空间没有任何关系。

世界空间：

    一个物体的物体空间和其它对象没有空间上的关系。世界空间的目的是为在你的场景中的所有物体提供一个绝对的参考。一个世界空间坐标系如何建立可以任意选择。例如：你可以决定世界空间的原点是你房间的中心。然户，房间里的物体就可以相对房间的中心和某个比例和某个方向放置了。

建模变换：

    在物体空间中指定的物体被放置到世界空间的方法要依靠建模变换。例如：你也许需要旋转、平移和缩放一个椅子的三维模型，以使椅子可以正确地放置在你的房间的世界坐标系统里。在同一个房间中的两把椅子可以使用同样的三维椅子模型，但使用不同的建模变换，以使每把椅子放在房间中不同的位置。

眼空间：

    最后，你要从一个特殊的视点（“眼睛”）观看你的场景。在称为眼空间（或视觉空间）的坐标系统里，眼睛位于坐标系统的原点。朝“上”的方向通常是轴正方向。遵循标准惯例，你可以确定场景的方向使眼睛是从z轴向下看。

视变换：

    从世界空间位置到眼空间位置的变换时视变换。典型的视变换结合了一个平移把眼睛在世界空间的位置移到眼空间的原点，然后适当地旋转眼睛。通过这样做，视变换定义了视点的位置和方向。
     我们通常把分别代表建模和视变换的两个矩阵结合在一起，组成一个单独的被称为modelview的矩阵。你可以通过简单地用建模矩阵乘以视矩阵把它们结合在一起。

剪裁空间：

    当位置在眼空间以后，下一步是决定什么位置是在你最终要渲染的图像中可见的。在眼空间之后的坐标系统被称为剪裁空间，在这个空间中的坐标系统称为剪裁坐标。

投影变换：

    从眼空间坐标到剪裁空间的变换被称为投影变换。投影变换定义了一个事先平截体（view frustum），代表了眼空间中物体的可见区域。只有在视线平截体中的多边形、线段和点背光栅化到一幅图形中时，才潜在的有可能被看得见。

标准化的设备坐标：

    剪裁坐标是齐次形式的，但我们需要计算一个二维位置（一对x和y）和一个深度值（深度值是为了进行深度缓冲，一种硬件加速的渲染可见表面的方法）。

透视除法：

    用w除x,y和z能完成这项工作。生成的结果坐标被称为标准化的设备坐标。现在所有的几何数据都标准化为[-1,1]之间。

窗口坐标：

    最后一步是取每个顶点的标准化的设备坐标，然后把它们转换为使用像素度量x和x的最后的坐标系统。这一步骤命名为视图变换，它为图形处理器的光栅器提供数据。然后光栅器从顶点组成点、线段或多边形，并生成决定最后图像的片段。另一个被称为深度范围变换的变换，缩放顶点的z值到在深度缓冲中使用的深度缓存的范围内。

二.图元装配（Primitive Assembly）和光栅化（Rasterization）

    经过变换的顶点流按照顺序被送到下一个被称为图元装配和光栅化的阶段。首先，在图元装配阶段根据伴随顶点序列的几何图元分类信息把顶点装配成几何图元。这将产生一序列的三角形、线段和点。这些图元需要经过裁剪到可视平截体（三维空间中一个可见的区域）和任何有效地应用程序指定的裁剪平面。光栅器还可以根据多边形的朝前或朝后来丢弃一些多边形。这个过程被称为挑选（culling）。 

    经过裁剪和挑选剩下的多边形必须被光栅化。光栅化是一个决定哪些像素被几何图元覆盖的过程。多边形、线段和点根据为每种图元指定的规则分别被光栅化。光栅化的结果是像素位置的集合和片段的集合。当光栅化后，一个图元拥有的顶点数目和产生的片段之间没有任何关系。例如，一个由三个顶点组成的三角形占据整个屏幕，因此需要生成上百万的片段。

    片段和像素之间的区别变得非常重要。术语 像素（Pixel）是图像元素的简称。一个像素代表帧缓存中某个指定位置的内容，例如颜色，深度和其它与这个位置相关联的值。一个 片段（Fragment）是更新一个特定像素潜在需要的一个状态。

    之所以术语片段是因为光栅化会把每个几何图元（例如三角形）所覆盖的像素分解成像素大小的片段。一个片段有一个与之相关联的像素位置、深度值和经过插值的参数，例如颜色，第二（反射）颜色和一个或多个纹理坐标集。这些各种各样的经过插值的参数是来自变换过的顶点，这些顶点组成了某个用来生成片段的几何图元。你可以把片段看成是潜在的像素。如果一个片段通过了各种各样的光栅化测试（在 光栅操作将做讨论），这个片段将被用于更新帧缓存中的像素。

---

三.插值、贴图和着色

    当一个图元被光栅化为一堆零个或多个片段的时候，插值、贴图和着色阶段就在片段属性需要的时候插值，执行一系列的贴图和数学操作，然后为每个片段确定一个最终的颜色。除了确定片段的最终颜色，这个阶段还确定一个新的深度，或者甚至丢弃这个片段以避免更新帧缓存对应的像素。允许这个阶段可能丢弃片段，这个阶段为它接收到的每个输入片段产生一个或不产生着过色的片段。

---

四.光栅操作(Raster Operations)

    光栅操作阶段在最后更新帧缓存之前，执行最后一系列的针对每个片段的操作。这些操作是OpenGL和Direct3D的一个标准组成部分。在这个阶段，隐藏面通过一个被称为深度测试的过程而消除。其它一些效果，例如混合和基于模板的阴影也发生在这个阶段。

    光栅操作阶段根据许多测试来检查每个片段，这些测试包括剪切、alpha、模板和深度等测试。这些测试涉及了片段最后的颜色或深度，像素的位置和一些像素值（像素的深度值和模板值）。如果任何一项测试失败了，片段就会在这个阶段被丢弃，而更新像素的颜色值（虽然一个模板写入的操作也许会发生）。通过了深度测试就可以用片段的深度值代替像素深度值了。在这些测试之后，一个混合操作将把片段的最后颜色和对应像素的颜色结合在一起。最后，一个帧缓存写操作用混合的颜色代替像素的颜色。

    图5显示了光栅操作阶段本身实际上也是一个流水线。实际上，所有之前介绍的阶段都可以被进一步分解成子过程。

图5：标准OpenGL和Direct3D光栅操作

---

五.形象化图形流水线

   图6描写了图形流水线的各个阶段。在本图中，两个三角形被光栅化了。整个过程从顶点的变换和着色开始。下一步，图元装配解读那从顶点创建三角形，如虚线所示。之后，光栅用片段填充三角形。最后，从顶点得到的值被用来插值，然后用于贴图和着色。注意仅仅从几个顶点就产生了许多片段。

图6：形象化图形流水线

---

可编程图形流水线

    当今图形硬件设计上最明显的趋势是在图形处理器内提供更多的可编程性。图7显示了一个可编程图形处理器的流水线中的顶点处理器和片元（像素）处理器。

    图7比图2展示了更多的细节，更重要的是它显示了顶点和片段处理被分离成可编程单元。可编程顶点处理器和片段处理器是图形硬件中执行Vertex Shader和Pixel Shader的硬件单元。

图7：可编程图形流水线

总结：

我们可以把 GPU的渲染管线 理解为一个流程，就是我们告诉GPU一堆数据，最后得出来一副二维图像，而这些数据就包括了”视点、三维物体、光源、照明模型、纹理”等元素。 

在各种图形学的书中，渲染管线主要分为三个阶段：应用程序阶段、几何阶段、光栅阶段。 

1，应用程序阶段。 

这个阶段相对比较好理解，就比如我们在Unity里开发了一个游戏，其实很多底层的东西Unity都帮我们实现好了，例如碰撞检测、视锥剪裁等等，这个阶段主要是和CPU、内存打交道，在把该计算的都计算完以后，在这个阶段的末端，这些计算好的数据（顶点坐标、法向量、纹理坐标、纹理）就会通过数据总线传给图形硬件，作为我们进一步处理的源数据。 

2，几何阶段。 

主要负责顶点坐标变换、光照、裁剪、投影以及屏幕映射，改阶段基于GPU进行运算，在该阶段的末端得到了经过变换和投影之后的顶点坐标、颜色、以及纹理坐标。简而言之，几何阶段的主要工作就是“ 变换三维顶点坐标” 和“ 光照计算 ”。 
问题随之而来，为什么要变换顶点坐标？我是这么理解的，比如你有一个三维游戏场景，场景中的每个模型都可以用一个向量来确定它的位置，但如何让计算机根据这些坐标把模型正确的、有层次的画在屏幕上？这就是我们需要变换三维顶点坐标的原因，最终目的就是让GPU可以将这些三维数据绘制到二维屏幕上。 
根据顶点坐标变换的先后顺序，主要有如下几个坐标空间： Object space ，模型坐标空间； World space ，世界坐标空间； Eye space ，观察坐标空间； Clip and Project space ，屏幕坐标空间。下图就是GPU的整个处理流程，深色区域就是顶点坐标空间的变换流程，大家了解一下即可，我们需要关注的是每个坐标空间的具体含义和坐标空间之间转换的方法。 

2.1，从object space到world space 

object space有两层核心含义，第一，object space中的坐标值就是模型文件中的顶点值，这些值是在建立模型时得到的，例如一个.max文件，里面包含的数据就是object space的坐标。第二，object space的坐标与其他物体没有任何参照关系，这是object space和world space区分的关键。world space坐标的实际意义就有有一个坐标原点，物体跟坐标原点相比较才能知道自己的确切位置。例如在unity中，我们将一个模型导入到场景中以后，它的transform就是世界坐标。 

2.2，从world space到eye space 

所谓eye space，就是以摄像机为原点，由视线方向、视角和远近平面，共同组成的一个梯形体，如下图，称之为视锥(viewing frustum)。近平面，是梯形体较小的矩形面，也是靠近摄像机的平面，远平面就是梯形体较大的矩形，作为投影平面。在这个梯形体的内的数据是可见的，超出的部分会被视点去除，也叫视锥剪裁。 
例如在游戏中的漫游功能，屏幕的内容随摄像机的移动而变化，这是因为GPU将物体的顶点坐标从world space转换到了eye space。 

2.3，从eye space到project and clip space 

eye space坐标转换到project and clip space坐标的过程其实就是一个投影、剪裁、映射的过程。因为在不规则的视锥体内剪裁是一件非常困难的事，所以前人们将剪裁安排到一个单位立方体中进行，这个立方体被称为规范立方体（CCV），CVV的近平面（对应视锥体的近平面）的x、y坐标对应屏幕像素坐标（左下角0、0），z代表画面像素深度。所以这个转换过程事实上由三步组成： 
（1），用透视变换矩阵把顶点从视锥体变换到CVV中； 
（2），在CVV内进行剪裁； 
（3），屏幕映射：将经过前两步得到的坐标映射到屏幕坐标系上。 

2.4，primitive assembly（图元装配）和triangle setup（三角形处理） 

到目前为止我们得到了一堆顶点的数据，这一步就是根据这些顶点的原始连接关系还原出网格结构。网格由顶点和索引组成，这个阶段就是根据索引将顶点链接到一起，组成线、面单元，然后进行剪裁，如果一个三角形超出屏幕以外，例如两个顶点在屏幕内，一个顶点在屏幕外，这时我们在屏幕上看到的就是一个四边形，然后把这个四边形切成两个小的三角形。 
现在我们得到了一堆在屏幕坐标上的三角形面片，这些面片是用于光栅化的。 

3，光栅化阶段。 

经过上面的步骤之后，我们得到了每个点的屏幕坐标值，和我们需要绘制的图元，但此时还有两个问题： 
（1）屏幕坐标是浮点数，但像素是用整数来表示的，如何确定屏幕坐标值所对应的像素？ 
（2）如何根据已确定位置的点，在屏幕上画出线段或者三角形？ 
对于问题1，绘制的位置只能接近两指定端点间的实际线段位置，例如，一条线段的位置是（10.48， 20.51），转换为像素位置就是（10，21）。 
问题2，涉及到具体的画线和填充算法，有兴趣的话可以研究。 
这个过程结束后，顶点和图元已经对应到像素，之后的流程就是如何处理像素，即给像素赋予颜色值。 
给像素赋予颜色的阶段称为Pixel Operation，是在更新帧缓存之前，执行最后一系列针对每个片段的操作，其目的是计算出每个像素的颜色值。在这个阶段，被遮挡的面通过一个被称为深度测试的过程消除。 
pixel operation包含下面这些流程： 
（1）消除遮挡面； 
（2）Texture operation，纹理操作，根据像素的纹理坐标，查询对应的纹理值； 
（3）Blending，通常称为alpha blending，根据目前已经画好的颜色，与正在计算的颜色的alpha值混合，形成新的颜色。 
（4）Filtering，将正在计算的颜色经过某种滤镜后输出。 
该阶段之后，像素的颜色值被写入帧缓存中。