Shader的简介和基础
什么是Shader
Shader中文名为着色器,可以从两个不同的方面来解释
1:Shader是代码实现的光照在物体表面微观层面的模拟,使得最终的成像看起来比较逼真
2:在GPU上面运行的代码
用Shader来模拟光照
光照Shader模拟光线对不同表面的作用,要么是从物理的层面来模拟光线,要么就是通过不断地试错来从美术的层面上达到相对真实的画面。
在现实生活中,不同材质的表面(木头、金属、人的皮肤等)对于光照的反应都不一样。不同的表面的微观层面则是原子构成的,光具有波粒二象性,其既是粒子(Particles)也是波(Wave)(这也影响着图形学中光线追踪算法与光子图的算法)。光、表面和观察的眼睛之间的相互作用决定着物体的表面看起来是怎样的。当光线(为了简化模型,这里假设光是光线)从光源发出,照射到物体的表面,根据物体表面不同的性质其吸收、反射、折射或散射这条光线不同,物体看起来也不同。如下图所示,则是光照模型最简单的示意图。
现实中,即使一个物体的表面看起来挺光滑的,但是其微观层面上看起来可能是粗糙的。在计算机图形学中,我们没有足够的计算力去模拟如此微观的层面(原子级)。在很多渲染器中,通常采用面来表示三维模型,也就是由顶点(Vertex)构成三角面(Triangle),然后再由诸多三角面组合称为一个三维模型。一个三维场景通常由模型、贴图和着色器组成,然后再渲染成一个二维的由像素组成的图像。在渲染的过程中则是将这些顶点的位置映射为最终输出图像的二维的位置,同时将贴图赋予相应的面上并且执行每个三维模型的顶点对应的着色器。
Shader实质上就是在GPU上运行的代码,着色是一个单向的数据流处理(数据从一端进去,经过处理从另一端出来)。也就是说,输入的是顶点数组(Vertices)、贴图(Textures)和着色器(Shaders),出来的是颜色作为一个像素,最后再放到一个2D的图像中。
Shader执行的流程
那么Shader到底是怎样执行的呢?其流程又是如何?
1、假设一个只有一个立方体的场景,一共有8个顶点数据。那么第一步就是将这8个顶点数据传入顶点着色器(Vertex Shader)
2、一个顶点着色器对每个顶点执行一遍着色操作。
3、对每个顶点来说,顶点着色器得到一个输出的数据结构(data structure),这个数据结构包含最终图像中的顶点的诸如位置、颜色的数据。
4、顶点序列被装配成图元(Primitive Assembly),像是点、线段和三角面。
5、光栅器(Rasterizer)以一个图元作为输入,并将其转换为一串像素。对三角面中每个可能的像素进行插值操作,并传给像素着色器。举个例子,插值就是说如果有2个顶点,一个是红色、一个是绿色,那么光栅器就会自动将两个顶点中的颜色输出为红到绿之间的过度。光栅器是GPU上的一部分,我们没法对其进行编程。
6、片元着色器(Rragment Shader)运行在每个可能的像素上。大部分的光照计算都是在这个阶段进行的。
7、如果是前向渲染(Forward Render),对于除了第一个以外的每个光源片元着色器还需要使用这个光源的信息再运行一遍。
8、对于每个可能的像素(也叫片元)将会检查是否附近还有其他的离相机更近的片元,如果有,那么当前的片元则会被拒绝。
9、所有的片元着色器的光照通道被混合在一起。
10、所有的像素颜色被写入输出图像中。
上述Shader的执行流程其实对应着渲染管线(Render Pipeline)的一些步骤,但是我们不会在现在讲解渲染管线,因为有其他的更加急需了解的知识。
Shader的种类
根据上面讲到的Shader的流程中,我们可以发现Shader有以下几类:
1、顶点着色器:在每个顶点上执行的着色器
2、片元着色器:在每个最终图像中可能出现的像素上的着色器
当然,在Unity中还有如下的一些着色器
3、Unlit着色器:将Vertex和Pixel着色器放在一个文件内
4、Surface着色器:包含Vertex和Fragment着色器的功能。
5、Image-effect着色器:实现屏幕特效,诸如抗锯齿、环境光遮蔽、模糊、溢光等...
6、Compute着色器:进行一些计算的着色器,实现诸如物理模拟、图像处理、光线追踪等。
坐标系统
每个着色器中的计算都是在特定的坐标系统下面进行的。Shader中的坐标系统主要有如下几个:
1、本地空间(Local Space)或物体空间(Object Space):指的是带渲染模型的相对坐标系。
2、世界空间(World Space):指的是整个带渲染场景的坐标系。
3、视图空间(View Space)或Eye Space:从观察者(相机)的视角来看的相应的坐标系。
4、剪裁空间(Clip Space):范围从-1.0到1.0
5、屏幕空间(Screen Space):二维的坐标系统
6、切线空间(Tangent Space):用来计算法线贴图
在着色器中,经常性地需要从一个坐标空间转换到另一个坐标空间,选择合适的坐标空间将会减少这些转换操作,从而使得计算更加方便,渲染更加快速。
光源类型
Unity中有以下几种光源类型:
1、点光源(Point):一个点向周围相等地发射光,强度随距离衰减
2、方向光源(Directionnal):发出的每条光线都是平行的,没有强度衰减
3、区域光源(Area):只能在烘焙的时候使用,光从一个区域内发出。
渲染公式(Rendering Equation)
在图形学中的渲染公式看起来是这样子的:
渲染公式用来定义光在物体表面的行为,为了理解光照公式,我们先来学习一下光的行为。
光线的行为
一束光照射到一个物体的表面上之后,一部分光会从物体的表面反射出去。对于渲染来说,我们感兴趣的是到底反射了多少光,和光具体的反射方向是哪里。这都是由很多因素决定的。
1、首先是入射角,入射角越平行于物体表面,反射的光就越少。如上图,颜色深的那条光线反射的光照就要更小一些。
2、然后便是物体表面的颜色,一个黑色的表面将会吸收所有的入射光,而绿色的表面将会吸收所有入射光中除了绿色以外的所有光线,只反射绿色的部分。
3、物体表面的光滑度(Smoothness)或是粗糙度(Roughness)。物体的微观层面看起来比他的宏观层面看起来可能要粗糙很多。微观层面上,光线可能会反射到很多其他的地方。
4、半透明的层,试着想象一个小水坑,水是透明的,水坑底面的泥土是不透明的。那么光线在照射到水面时会反射一部分光,另一部分会继续照射下去(不考虑折射)并且亮度会降低,这一部分的光线照射到泥土之后继续反射出来。
间接光照(Bounced Light)
在一个场景中,一个照射到物体的光线会反射出去,如果这束光线仍然存在能量那么他会在遇到其他物体表面的时候会继续反射。直接照射到物体的光线叫做直接照明(Direct Light),反射出来的光线叫做间接光照(Indirect Light),这也是全局照明(Global Illumination)需要做的地方。
因为全局照明会消耗大量地计算资源,因此2010年之前的游戏开发中通常采用环境光(Ambient light)来补偿直接照明的黑暗。或是使用球谐光照来补偿全局照明。
渲染类型
Unity中的渲染类型又如下几种
1、前向渲染(Forward):在前向渲染中,场景的信息输入到渲染器中,每个三角面都被光栅化,对应每个光源都有一个着色通道。
2、延迟渲染(Deferred):将光照/渲染计算推迟到第二步进行计算。我们这样做的目的是为了避免多次(超过1次)渲染同一个像素。
结语
在这部分,我们讲解了Shader的基本概念包括着色器是什么,着色器是怎样工作的,同时也简单介绍了几种不同的坐标空间,最后讲了光照的类型和渲染的类型。
在下一节中,我们将会讲解Unity中Shader开发的步骤,并编写一个简单的Shader程序。