非真实感渲染

其实这是现在一些游戏 很喜欢的渲染方式,最后出来的效果还是很不错的


非真实感渲染_第1张图片
image

非真实感渲染 (Non-Photorealistic Rendering, NPR)的方法来渲染游戏画面。得到类似水彩,卡通的风格,其实可以模拟中国水墨画感觉

卡通风格的渲染

卡通风格,有一些共有的特点,物体都被黑色的线条描边,以及分明的明暗变化。实现卡通渲染有很多方法,一种就是使用基于色调的着色技术(tone-based shading),Gooch等人也在一篇论文中提出并实现了基于色调的光照模型。在实现中,我们往往会使用漫反射系数对一张一维纹理进行采样,以控制漫反射的色调。卡通风格的高光效果也和我们之前学习的光照不同,卡通风格中,模型的高光往往是一块块分界明显的纯色区域。除了光照模型不同外,卡通风格通常还需要在物体边缘部分绘制轮廓。使用屏幕后处理技术对图像进行描边。这里我们将基于模型的描边方式,这种方法实现更加简单,也能得到不错的效果。

非真实感渲染_第2张图片
image

渲染轮廓线

在实时渲染中,轮廓线渲染是应用非常广泛的一种效果。在《Real Time Rendering, third edition》一书中,作者分成了5种类型

  • 基于观察角度和表面法线的轮廓线渲染。这种方法使用视角方向和表面法线的点乘结果来得到轮廓线的信息。这种方法简单快速,可以在一个Pass中得到渲染结果,但局限性很大,很多模型渲染出来的效果不尽如人意。
  • 过程式几何轮廓线渲染,这种方法核心是使用两个Pass渲染,第一个pass渲染背面的面片,使用某些技术让他的轮廓可见;第二个Pass再正常渲染正面的面片。这种方法的优点在于快速有效,并且适用于大多数表面平滑的模型,但他的缺点就是不适合类似立方体的这样平整的模型。
  • 基于图像处理的轮廓线渲染,前两章说的边缘检测就是这种方法。优点在于适用任何种类的模型,但也有自身的局限性,一些深度和法线变化很小的轮廓无法被检测出来,例如桌子上的纸张。基于轮廓边检测的轮廓线渲染。
    各种方法,一个最大的问题就是,无法控制轮廓线的风格渲染,对于一些情况,我们希望可以渲染出独特风格的轮廓线,例如水墨风格等。

为此,我们希望是可以检测出精确的轮廓边,直接渲染他们。检测一条边是否是轮廓边的公式很简单,只需要检查和这条边相邻的两个三角面片是否满足以下条件:

公式

其中,n0和n1分别表示两个相邻三角面片的法向, V是从视角到该边上任意顶点的方法,上述公式的本质在于检查两个相邻的三角面片是否一个朝正面、一个朝背面。我们可以在几何着色器(Geometry Shader)的帮助下实现上面的检测过程。当然,这种方法也有缺点,除了实现相对复杂外,它还会有动画连贯性的问题。也就是说,由于是逐帧单独提取轮廓,所以在帧与帧之间会出现跳跃性。

  • 最后一个种类就是混合了上述的几种渲染方法。例如,首先找到精确的轮廓边,把模型和轮廓边渲染到纹理中,再使用图像处理的方法识别出轮廓线,并在图像空间下进行风格化渲染

将会在Unity中 使用过程式几何轮廓线渲染的方法来对模型进行轮廓描边。我们将使用两个Pass渲染模型:在第一个Pass中,我会使用轮廓线颜色渲染整个背面的面片,并在视角空间下把模型顶点沿着法线方向向外扩张一段距离,以此来让背部轮廓线可见。

viewPos = viewPos + viewNormal *_Outline

但是,如果直接使用顶点法线进行扩展,对于一些内凹的模型,就可能发生背面面片遮挡正面面片的情况,为了尽可能防止这样的情况,在扩张背面顶点之前,首先对顶点法线的z分量处理,使它们等于一个定值,然后把法线归一化后再对顶点进行扩张。这样的好处在于,扩展后的背面更加扁平化,从而降低了遮挡正面面片的可能性

    viewNormal.z = -0.5;
    viewNormal = normalize(viewNormal);
    viewPos = viewPos + viewNormal * _Outline;

添加高光

卡通风格中的高光往往是模型上一块块分界明显的纯色区域,为了这种效果,不能用之前的光照模型。之前实现的Blinn-Phong模型的过程中,我们用法线点乘光照方向以及视角方向和的一半,在和另外一个参数进行指数操作得到高光反射系数。

  float spec  = pow(max(0, dot(normal, halfDir)), _Gloss)

对于卡通渲染需要的高光反射光照模型,我们同样需要计算normal和halfDir 的点乘结果,不同的是,把该值和一个阀值进行比较,如果小于该阀值,则高光反射系数为0,否则返回1

      float spec = dot(worldNormal,worldHalfDir);
      spec  =  step(threshold, spec);

我们用CG的step函数 来实现和阀值比较的目的,step函数接受两个参数,第一个参数是参考值,第二个参数是待比较的值。spec大于threshold 就返回1,否则返回0。
但是这样会造成高光区域的边界造成锯齿。
出现这种问题的原因在于,高光区域的边缘不是平滑渐变的,而是从0突变到1.要想对其进行抗锯齿处理,可以在边缘很小的一块区域内,进行平滑处理

    float spec = dot(worldNormal, worldHalfDir);
    spec = lerp(0,1,smoothstep(-w,w, spec- threshold));

这里使用了** CG的 smoothstep函数** 其中 w是一个很小的值,当spec- threshold 小于-w时,返回0,大于w时,返回1,否则就在 0和1 之间进行插值。这样的效果,我们可以在【-w , w】区间内,即高光区域的边界处,得到一个从0 到1 的平滑变化的spec值,从而实现抗锯齿效果。这里我们可以把w设置为一个很小的定值,但这里我们使用领域像素之间的近似导数值,可以通过 CG的fwidth函数来得到。

非真实感渲染_第3张图片
image

当然,卡通渲染中的高光往往有更多个性化的需要。例如,很多卡通高光特效希望可以随意伸缩、方块化光照区域。Anjyo等人在他们2003 年的一篇论文[2] 中给出了一种风格化的卡通高光的实现。读者也可以在这篇非真实感渲染的博文
(http://blog.csdn.net/candycat1992/article/details/47284289 )中找到这种方法在Unity 中的实现。

实现

1.声明各个属性

Properties{
   _Color("Color Tint", Color) = (1,1,1,1)
   _MainTex("Main Tex", 2D) = "white"{}
   _Ramp("Ramp Texture", 2D) = "white"{}
   _Outline("Outline", Range(0,1)) = 0.1
   _OutlineColor (" Outline Color", Color)= (0,0,0,1)
   _Specular ("Specular", Color) =(1,1,1,1)
   _SpecularScale ("Specular Scale", Range(0, 0.1)) = 0.01
}

其中,_Ramp 是用于控制漫反射色调的渐变纹理, _Outline 用于控制轮廓线宽度, _OutlineColor对应了轮廓线颜色,_Specular 是高光反射颜色,_SpecularScale 用于控制计算高光反射时使用的阀值。
2.定义渲染轮廓线的Pass,这个pass只渲染背面的三角米面片,需要设置正确的渲染状态

       Pass{
              NAME "OUTLINE"
              Cull  Front
}

Cull 指令把正面的三角面片剔除,而只渲染背面。用**NAME命令为该Pass定义名称。这样可以在别的Pass中直接调用,不需要重复写
3.定义描边需要的顶点着色器和片元

float4 vertex : POSITION;
                float3 normal : NORMAL;
            }; 
            
            struct v2f {
                float4 pos : SV_POSITION;
            };
            
            v2f vert (a2v v) {
                v2f o;
                
                float4 pos = mul(UNITY_MATRIX_MV, v.vertex); 
                float3 normal = mul((float3x3)UNITY_MATRIX_IT_MV, v.normal);  //视角空间的法线向量
                normal.z = -0.5;
                pos = pos + float4(normalize(normal), 0) * _Outline;
                o.pos = mul(UNITY_MATRIX_P, pos);
                
                return o;
            }
            
            float4 frag(v2f i) : SV_Target { 
                return float4(_OutlineColor.rgb, 1);               
            }

首先把顶点和法线变换到视角空间下,是为了让描边可以在观察空间达到最好效果。随后,设置法线的z分量,对其归一化后 再将顶点沿其方向扩张,得到扩张后的顶点坐标。对法线的处理是为了尽可能的避免背面扩展后顶点挡住正面的面片。最后,把顶点从视角空间变换到裁剪空间。
片元的代码简单,用轮廓线颜色渲染整个背面即可
4.定义 光照模型所在的Pass,以渲染模型正面。由于需要使用Unity提供的光照等信息。添加对应的编译命令

      Pass{
            Tags{"LightMode" = "ForwardBase"}
            Cull Back
            CGPROGRAM
             #pragma vertex vert
            #pragma   fragment  frag

            #pragma  multi_compile_fwdbase
}

将LightMode 设置为ForwardBase, 并且使用#pragma 语句设置了编译指令,这些都是为了让Shader 中的光照变量可以被正确赋值。
5.定义 顶点着色器

            struct v2f {
                float4 pos : POSITION;
                float2 uv : TEXCOORD0;
                float3 worldNormal : TEXCOORD1;
                float3 worldPos : TEXCOORD2;
                SHADOW_COORDS(3)
            };
            v2f vert (a2v v) {
                v2f o;
                
                o.pos = mul( UNITY_MATRIX_MVP, v.vertex);
                o.uv = TRANSFORM_TEX (v.texcoord, _MainTex);
                o.worldNormal  = UnityObjectToWorldNormal(v.normal);
                o.worldPos = mul(_Object2World, v.vertex).xyz;
                
                TRANSFER_SHADOW(o);
                return o;
            }

界空间下的法线方向和顶点位置,并使用Unity 提供的内置宏SHADOW_COORDS 和
TRANSFER_SHADOW 来计算阴影所需的各个变量。这些宏的实现原理可以参见9.4 节。
6.片元着色器 包含计算 高照模型的关键代码

      float4 frag(v2f i ): SV_Target{
                                fixed3 worldNormal = normalize(i.worldNormal);
                fixed3 worldLightDir = normalize(UnityWorldSpaceLightDir(i.worldPos));
                fixed3 worldViewDir = normalize(UnityWorldSpaceViewDir(i.worldPos));
                fixed3 worldHalfDir = normalize(worldLightDir + worldViewDir);
                
                fixed4 c = tex2D (_MainTex, i.uv);
                fixed3 albedo = c.rgb * _Color.rgb;
                
                fixed3 ambient = UNITY_LIGHTMODEL_AMBIENT.xyz * albedo;
                
                UNITY_LIGHT_ATTENUATION(atten, i, i.worldPos);
                
                fixed diff =  dot(worldNormal, worldLightDir);
                diff = (diff * 0.5 + 0.5) * atten;
                
                fixed3 diffuse = _LightColor0.rgb * albedo * tex2D(_Ramp, float2(diff, diff)).rgb;
                
                fixed spec = dot(worldNormal, worldHalfDir);
                fixed w = fwidth(spec) * 2.0;
                fixed3 specular = _Specular.rgb * lerp(0, 1, smoothstep(-w, w, spec + _SpecularScale - 1)) * step(0.0001, _SpecularScale);
                
                return fixed4(ambient + diffuse + specular, 1.0);
}

计算光照模型中需要的各个方向矢量,对他们进行归一化处理。 然后,计算材质的反射率albedo和环境光照 ambient。
使用内置的UNITY_LIGHT_ATTENUATION 宏来计算当前世界坐标下的阴影值。随后 计算了半兰伯特漫反射系数,并和阴影值相乘得到最终的漫反射系数。
使用这个漫反射系数对渐变纹理 _Ramp 进行采样,并将结果和材质的反射率,光照颜色相乘,作为最后的漫反射光照。
高光反射的计算和上面介绍的技术一样。使用fwidth对高光区域的边界进行抗锯齿处理,并将计算而得的高光反射系数和高光反射颜色相乘,得到高光反射的光照部分。
我们最后还使用了step(0.000 1 , _SpecularScale),这是为了在 _SpecularScale 为0 时,可以完全消除高光反射的光照。
最后,返回环境光照、漫反射光照和高光反射光照叠加的结果

  1. Fallback 使用 FallBack "Diffuse"

素描风格的渲染

微软研究院的Praun 等人在2001 年的SIGGRAPH 上发表了一篇非常著名的论文[4]。在这篇文章中,他们使用了提前生成的素描纹理来实现实时的素描风格渲染,这些纹理组成了一个色调艺术映射( Tonal Art Map, TAM ),如图,从左到右纹理中的笔触逐渐增多,用于模拟不同光照下的漫反射效果,从上到下则对应了每张纹理的多级渐远纹理(mipmaps)这些多级渐远纹理的生成不是简单的对上一层纹理进行降采样,而是需要保持笔触之间的间隔,以便更真实的模拟素描效果。

非真实感渲染_第4张图片
image

我们实现简化版的算法,不考虑多级渐远纹理的生成,直接使用6张素描纹理进行渲染。在渲染阶段。我们首先在顶点着色器阶段计算逐顶点的光照,根据光照结果来决定6张纹理的混合权重,并传递给片元着色器。然后在片元着色器中根据权重来混合6张采样纹理,
非真实感渲染_第5张图片
image

(1) 首先,声明需要的各个属性

Properties {
        _Color ("Color Tint", Color) = (1, 1, 1, 1)
        _TileFactor ("Tile Factor", Float) = 1
        _Outline ("Outline", Range(0, 1)) = 0.1
        _Hatch0 ("Hatch 0", 2D) = "white" {}
        _Hatch1 ("Hatch 1", 2D) = "white" {}
        _Hatch2 ("Hatch 2", 2D) = "white" {}
        _Hatch3 ("Hatch 3", 2D) = "white" {}
        _Hatch4 ("Hatch 4", 2D) = "white" {}
        _Hatch5 ("Hatch 5", 2D) = "white" {}
    }

其中,_Color 用于控制模型颜色的属性, _TileFactor 是纹理的平铺系数, _TileFactor 越大,模型上的素描线条越密,我们把 _TileFactor 设置为8。 _Hatch0 至 _Hatch5对应了渲染时使用的6 张素描纹理,它们的线条密度依次增大。
(2)素描风格 需要在物体周围渲染轮廓线,直接使用 上一节中的 渲染轮廓线Pass

SubShader{
        Tags{"RenderType" = " Opaque"  "Queue" = "Geometry"}
        UsePass "Unity Shaders Book/Chapter 14/Toon Shading/OUTLINE"
}

这里注意就是shader的名称, pass名字要全部大写,原保存的时候Unity会自动转大写。
(3)定义光照模型的Pass,为了能够正确获取各个光照变量,所以要对应的编译指令

 Pass{
        Tags{ "LightMode" = "ForwardBase"}
        CGPROGRAM
        #pragma vertex vert
        #pragma  fragment frag

        #pragma multi_compile_fwdbase
}

(4)因为有6个纹理的 混合权重,需要在v2f结构中定义相应的变量

struct v2f{
          float4 pos : SV_POSITION;
          float2 uv : TEXCOORD0;
          fixed3  hatchWeights0 :TEXCOORD1;
          fixed3  hatchWeights1 : TEXCOORD2;
          float3  wordlPos : TEXCOORD3;
          SHADOW_COORDS(4)
}

由于一共声明了6 张纹理,这意味着需要6 个混合权重,我们把它们存储在两个fixed3 类型的变量(hatchWeights0 和hatchWeights1)中。为了添加阴影效果,我们还声明了worldPos 变量,并使用SHADOW_COORDS 宏声明了阴影纹理的采样坐标。
(5) 定义顶点着色器

v2f vert(a2v v){
      v2f o;
      o.pos = mul(UNITY_MATRIX_MVP, v.vertex);
      o.uv = v.texcoord.xy * _TileFactor;
      fixed3 worldLightDir  = normalize(WorldSpaceLightDir( v.vertex));
      fixed3 worldNormal = UnityObjectToWorldNormal(v.normal); 
      fixed diff = max(0, dot(worldLightDir, worldNormal));
      o.hatchWeights0 =  fixed3(0,0,0);
      o.hatchWeights1 = fixed3(0,0,0);
      
       float  hatchFactor = diff* 7.0;
      if(hatchFactor >6.0){
          //Pure  white 纯白 不做事情
      }else if(hatchFactor >5.0){
          o.hatchWeights0.x = hatchFactor - 5.0;
      }else if(hatchFactor >4.0){
          o.hatchWeights0.x = hatchFactor - 4.0;
          o.hatchWeights0.y = 1.0 - o.hatchWeights0.x;
      }else if(hatchFactor >3.0){
          o.hatchWeights0.y = hatchFactor -3.0;
          o.hatchWeights0.z = 1.0 - o.hatchWeights0.y;
      }else if(hatchFactor >2.0){
          o.hatchWeights0.z = hatchFactor - 2.0;
          o.hatchWeights1.x = 1.0 - o.hatchWeights0.z;
      }else if(hatchFactor >1.0){
          o.hatchWeights1.x = hatchFactor - 1.0;
          o.hatchWeights1.y = 1.0 - o.hatchWeights0.x;
      }else {
        o.hatchWeights1.y = hatchFactor;
        o.hatchWeights1.z = 1.0 - o.hatchWeights1.y;
    }
        o.worldPos = mul(_Object2World, v.vertex).xyz;
                
    TRANSFER_SHADOW(o);
                
    return o;
}

先对顶点进行了 基本的坐标变换,然后,使用_TileFactor 得到纹理采样坐标。在计算6张纹理的混合权重之前,我们首先需要计算逐顶点光照。所以,使用世界空间下的光照方向和法线方向得到漫反射系数diff。
然后把权重值 初始为0;把diff 缩放到【0,7】范围,得到hatchFactor。 把【0,7】区间均匀划分为7个子区间,通过判断hatchFactor所处的区间来计算对应的纹理混合权重。最后,计算顶点的世界坐标,并使用 TRANSFER_SHADOW宏来计算阴影纹理采样。
(6)定义片元着色器

fixed4 frag(v2f i):SV_Target{
        fixed4 hatchTex0 = tex2D(_Hatch0, i.uv) * i.hatchWeights0.x;
        fixed4 hatchTex1 = tex2D(_Hatch1, i.uv) * i.hatchWeights0.y;
        fixed4 hatchTex2 = tex2D(_Hatch2, i.uv) * i.hatchWeights0.z;
       fixed4 hatchTex3 = tex2D(_Hatch3, i.uv) * i.hatchWeights1.x;
    fixed4 hatchTex4 = tex2D(_Hatch4, i.uv) * i.hatchWeights1.y;
    fixed4 hatchTex5 = tex2D(_Hatch5, i.uv) * i.hatchWeights1.z;
        fixed4 whiteColor = fixed4(1, 1, 1, 1) * (1 - i.hatchWeights0.x - i.hatchWeights0.y -i.hatchWeights0.z - i.hatchWeights1.x - i.hatchWeights1.y - i.hatchWeights1.z);
        fixed4 hatchColor = hatchTex0 + hatchTex1 + hatchTex2 + hatchTex3 + hatchTex4 + hatchTex5 + whiteColor;
                
    UNITY_LIGHT_ATTENUATION(atten, i, i.worldPos);
                                
    return fixed4(hatchColor.rgb * _Color.rgb * atten, 1.0);
}

FallBack "Diffuse"

得到6张纹理的 混合权重后,对每张纹理进行采样 并和它们对应的权重值相乘得到每张纹理的采样颜色。我们还计算了纯白在渲染中的贡献度,这是通过从1中减去所有6张纹理的权重来得到的。这是因为素描中往往有留白的部分,因此我们希望在最后的渲染中,光照最亮的部分是纯白。最后混合各个颜色值,并和阴影值 atten,模型颜色——Color相乘后返回。

14.3 扩展阅读
在工业界,非真实感渲染己被应用到很多成功的游戏中, 除了之前提及的《大神》和《军团要塞2》外, 还有最近的《海岛奇兵》《三国志》等游戏都可以看到非其实感渲染的身影。在学术界, 有更多出色的非真实感渲染的工作被提了出来。读者可以在国际讨论会NPAR( Non-Photorealistic Animation and Rendering )上找到许多关于非真实感渲染的论文。浙江大学的耿卫东教授编篡的书籍《艺术化绘制的图形学原理与方法》(英文名: The Algorithms and Principles of Non-photorealistic Graphics)[5], 也是非常好的学习材料。这本书概述了近年来非真实感渲染在各个领域的发展,并简述了许多有重要贡献的算法过程, 是一本非常好的参考书籍。
在Unity 的资源商店中, 也有许多优秀的非真实感渲染资源。例如, Toon Shader Free
( https://www.assetstore.unity3d.com/cn/#!/content/21288 )是一个免费的卡通资源包, 里面实现了包括轮廓线渲染等卡通风格的渲染。Toon Styles Shader Pack ( https://www.assetstore.unity3d.com/cn/#!/content/7212 )是一个需要收费的卡通资源包,它包含了更多的卡通风格的Unity Shader 。Hand-Drawn Shader Pack ( http://www.assetstore.unity3d.com/cn/#!/content/12465 )同样是一个需要收费的非真实感渲染效果包, 它包含了诸如铅笔渲染、蜡笔渲染等多种手绘风格的非真实感渲染效果。

你可能感兴趣的:(非真实感渲染)