[Unity Shader] 小谈深度法线纹理

在实现一些特定的效果,我们需要获取场景中的深度纹理和法线纹理。虽然,在ShaderLab中,获取它们很简单,但在使用他们之前,应该了解他们根源。

1 概念

法线信息是通过顶点输入阶段而得的,这节我们只讨论深度纹理,因为深度信息比较特殊,需要通过计算得到的。

1.1 深度纹理

深度纹理实际上来自深度缓冲,它包含了一个介于 0.0 和 1.0 之间的深度值,通常用于做深度测试(depth test)。
实际上这个深度值并不是均匀分布的,这个深度值是依据下列公式计算:

这个 z 值是观察空间(view space)下 分量的相反数(由于观察空间为右手坐标系)。深度值和 成正比,函数图如下所示:

深度值计算函数

可以看到 值在 范围中精度占了50%,现实中我们对近距离的深度精度需求要高于远距离的精度,这样可以缓解深度冲突(Z-fighting) 问题。

那么,问题来了,这个深度值计算公式又是怎么得到的。

image

首先,这个深度值来自于顶点变化后的 NDC 的 z 分量, 由于经过了投影变换 (通常是透视投影),这个深度值则是非线性。还有, NDC z 分量的范围为 我们需要对其进行处理:

特别的,在 DirectX 接口中 z 分量的范围为

接着,我们根据视锥矩阵,来得到裁剪 分量和观察 之间的关系:

M_{frustum} = \begin{bmatrix} \frac{ \cot{ \frac{FOV}{2} } }{Aspect} & 0 & 0 & 0 \\ 0 & \cot{ \frac{FOV}{2} } & 0 & 0 \\ 0 & 0 & -\frac{Far + Near}{Far - Near} & -\frac{2 * Near * Far}{Far - Near} \\ 0 & 0 & -1 & 0 \end{bmatrix}

摄像机

由此可得:

同时,我们可以得到 NDC 和 的关系:

由于我们知道了 NDC 的 分量和深度值之间的关系,我们就能推出深度值最开始计算深度值的函数关系(我们需要对 ,因为他是观察坐标系,总是为负数)

2 深度法线可视化

在Unity中,深度纹理可以直接来自于真正的深度缓存,也可以由一个单独的Pass进行渲染,取决于使用的渲染路径和硬件。在延迟渲染中,深度和纹理信息会直接渲染到G-buffer中,所以可以直接访问。而前向渲染中,是不会创建法线纹理的,因此,Unity底层使用了一个单独的 Pass (在 buildin_shaders-xxx/DefaultResources/Camera-DepthNormalTexture.shader 中)把整个场景都渲染了一遍
我们可以让摄像机生成一张深度纹理(精度为24位或16位,取决于深度缓存的精度)或者深度+法线纹理(共32位,深度、法线纹理各占16位)。

2.1 Unity API

我们需要在脚本中设置摄像机纹理的渲染模式:

// 渲染深度信息 在shader中通过 _CameraDepthTexture访问
camera.depthTextureMode = DepthTextureMode.Depth; 

// 渲染深度和法线信息,通过_CameraDepthNormalsTexture
camera.depthTextureMode = DepthTextureMode.DepthNormals;
// 可以同时产生深度和深度+法线纹理
camera.depthTextureMode |= DepthTextureMode.Depth;
camera.depthTextureMode |= DepthTextureMode.DepthNormals; 

大多情况,我们可以通过 tex2D 函数直接采样,由于某些平台(如 PS3和PS2)上,我们需要一些特殊处理。因此,需要使用宏 SAMPLE_DEPTH_TEXTURE 进行采样:

float d = SAMPLE_DEPTH_TEXTURE(_CameraDepthTexture, i.uv);

还有类似的宏如:SAMPLE_DEPTH_TEXTURE_PROJSAMPLE_DEPTH_TEXTURE_LOD

通过纹理采样得到的深度值是非线性的,即为ndc坐标下的深度值,我们可以通过LinearEyeDepth将采样结果转化为观察空间下的深度值。还有Linear01Depth则会返回一个范围在 的线性深度值。这两个函数使用了内置的_ZBufferParams变量来得到远近裁剪平面的距离。

获取深度+法线纹理,可以直接使用tex2D函数对_CameraDepthNormalsTexture进行采样。Unity提供了辅助函数DecodeDepthNormal来为这个采样结果进行解码,从而获得深度值和法线信息,它在UnityCG.cginc被定义:

inline void DecodeDepthNormal(float4 enc, out float depth, out float3 normal){
    // 范围为[0,1]的线性深度值
    depth = DecodeFloatRG(enc.zw);
    
    // 观察空间下的法线信息
    normal = DecodeViewNormalStereo(enc);
}

当我们开启摄像机渲染深度+法线纹理时,我们可以在 Frame Debugger 观察深度信息和法线信息。

渲染结果
深度信息
发信信息

当然,可以通过编写 Shader 的方式来观察深度和法线信息。

2.2 深度信息可视化
fixed4 frag(v2f i): SV_TARGET{
    float d = SAMPLE_DEPTH_TEXTURE(_CameraDepthTexture, i.uv_depth);
    float depth = 1-d;
    return fixed4(depth,depth,depth,1.0);
}

原图

运行效果

运行效果
2.3 法线信息可视化
fixed4 frag(v2f i): SV_TARGET{
    half4 depthNormal = tex2D(_CameraDepthNormalsTexture, i.uv);
    half3 normal = DecodeViewNormalStereo(depthNormal);   
    return fixed4(normal,1.0);
}
原图

运行效果

运行效果

你可能感兴趣的:([Unity Shader] 小谈深度法线纹理)